- 博客(298)
- 收藏
- 关注
RSS订阅转载 网络爬虫必备知识之urllib库
就库的范围，个人认为网络爬虫必备库知识包括urllib、requests、re、BeautifulSoup、concurrent.futures，接下来将结合爬虫示例分别对urllib库的使用方法进行总结1. urllib库全局内容 官方文档地址：https://docs.python.org/3/library/urllib.html urllib库是python的内置HTTP请求库，...
2018-11-30 14:11:19
227
转载 网络爬虫必备知识之urllib库
就库的范围，个人认为网络爬虫必备库知识包括urllib、requests、re、BeautifulSoup、concurrent.futures，接下来将结合爬虫示例分别对urllib库的使用方法进行总结1. urllib库全局内容 官方文档地址：https://docs.python.org/3/library/urllib.html urllib库是python的内置HTTP请求库，...
2018-11-30 13:51:06
188
转载 spring-boot-2.0.3之quartz集成，不是你想的那样哦！
前言 开心一刻 晚上回家，爸妈正在吵架，见我回来就都不说话了，看见我妈坐在那里瞪着我爸，我就问老爸“你干什么了惹我妈生这么大气?” 我爸说“没有什么啊，倒是你，这么大了还没有媳妇，要是你有媳妇给我们生一个孙子玩，我们致于吵架吗？”我一听就感觉要坏，老爸你这是来了一招调虎离山啊，实力坑儿子啊，果然我妈改瞪我了，然后完全不理我爸，直接指着我开骂了…… 路漫漫其修远兮，吾将上下而求索！...
2018-11-30 13:11:06
211
转载 spring-boot-2.0.3之quartz集成，不是你想的那样哦！
前言 开心一刻 晚上回家，爸妈正在吵架，见我回来就都不说话了，看见我妈坐在那里瞪着我爸，我就问老爸“你干什么了惹我妈生这么大气?” 我爸说“没有什么啊，倒是你，这么大了还没有媳妇，要是你有媳妇给我们生一个孙子玩，我们致于吵架吗？”我一听就感觉要坏，老爸你这是来了一招调虎离山啊，实力坑儿子啊，果然我妈改瞪我了，然后完全不理我爸，直接指着我开骂了…… 路漫漫其修远兮，吾将上下而求索！...
2018-11-30 12:51:05
302
转载 如何写一个作用域安全的构造函数
基础部分构造函数本质上就是一个使用new操作符调用的函数，使用new调用时，构造函数内用到的this对象会指向新创建的对象实例：function Girlfriend(name, age, height) { this.name = name; this.age = age; this.height = height;}// 使用new操作符来分配这些属性var girlf...
2018-11-30 12:11:04
214
转载 爬虫不过如此（python 详细篇）
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。爬虫的本质就是一段自动抓取互联网信息的程序，从网络获取感兴趣的信息，抓取对于我们有价值的信息，爬虫技术是大数据和云计算的基础。爬虫的实现可认为是模拟浏览器与服务器数据交互，伪造HTTP请求。 使用总览网页爬取库：1、urllib模块的urlli...
2018-11-30 11:51:05
244
转载 java8之流的基本使用(二)
概述流(stream())是java8的一个新特性,主要的作用就是将各种类型的集合转换为流,然后的方便迭代数据用的.例如://将List类型的集合转换为流list.stream()转换为流之后可以进行一系列的迭代操作,比自己去拿出list的值一个个操作要方便的多.使用流的好处声明性 -- 更简洁、更易读可复合 -- 更灵活可并行 -- 性能更好流的使用方法介绍使用流之前,必须先...
2018-11-30 11:11:17
163
转载 .Net Core 简单定时任务框架封装
有段日子没有更新，写点东西冒个泡 。这篇文章过来讲个小东西，也是大家在日常开发中也经常需要面临的问题：后台定时任务处理。估计大家看到这句就已经联想到 QuartZ 等类似第三方类库了，不好意思，后边的事情和它们没有关系。这里要展开的是用.Net Core 下的 Generic Host 配合封装简版定时任务处理框架的过程。至于什么是Generic Host，简单来说就是一个简化版不含Http管...
2018-11-30 10:51:07
3410
1
转载 [UWP] 用 AudioGraph 来增强 UWP 的音频处理能力
Audio GraphAudioGraph 是 Windows.Media.Audio 命名空间下提供的音频处理接口之一。可以通过 AudioGraph 的静态方法 CreateAsync 来实例化一个 AudioGraph 对象，实例化的时候需要传入一个参数 AudioGraphSettings 来配置 AudioGraph。 Windows把系统中的音频分成了大概12种类型：public...
2018-11-30 10:11:05
436
转载 [UWP] 用 AudioGraph 来增强 UWP 的音频处理能力
Audio GraphAudioGraph 是 Windows.Media.Audio 命名空间下提供的音频处理接口之一。可以通过 AudioGraph 的静态方法 CreateAsync 来实例化一个 AudioGraph 对象，实例化的时候需要传入一个参数 AudioGraphSettings 来配置 AudioGraph。 Windows把系统中的音频分成了大概12种类型：public...
2018-11-30 09:51:05
225
转载 Docker最全教程——从理论到实战（二）
上篇内容链接： https://www.cnblogs.com/codelove/p/10030439.htmlDocker和ASP.NET CoreDocker 正在逐渐成为容器行业的事实标准，受到 Windows 和 Linux 生态系统领域最重要供应商的支持。 （Microsoft 是支持 Docker 的主要云供应商之一。）现在，Docker 基本上已经在各大云或本地的任何数据中心...
2018-11-29 14:11:13
285
转载 RAID磁盘阵列是什么（一看就懂）
在单机时代，采用单块磁盘进行数据存储和读写的方式，由于寻址和读写的时间消耗，导致I/O性能非常低，且存储容量还会受到限制。另外，单块磁盘极其容易出现物理故障，经常导致数据的丢失。因此大家就在想，有没有一种办法将多块独立的磁盘结合在一起组成一个技术方案，来提高数据的可靠性和I/O性能呢。在这种情况下，RAID技术就应运而生了。一、RAID 是什么？RAID （ Redundant Array...
2018-11-29 13:51:06
329
转载 Docker最全教程——从理论到实战（二）
上篇内容链接： https://www.cnblogs.com/codelove/p/10030439.htmlDocker和ASP.NET CoreDocker 正在逐渐成为容器行业的事实标准，受到 Windows 和 Linux 生态系统领域最重要供应商的支持。 （Microsoft 是支持 Docker 的主要云供应商之一。）现在，Docker 基本上已经在各大云或本地的任何数据中心...
2018-11-29 13:11:05
201
转载 Docker最全教程——从理论到实战（二）
上篇内容链接： https://www.cnblogs.com/codelove/p/10030439.htmlDocker和ASP.NET CoreDocker 正在逐渐成为容器行业的事实标准，受到 Windows 和 Linux 生态系统领域最重要供应商的支持。 （Microsoft 是支持 Docker 的主要云供应商之一。）现在，Docker 基本上已经在各大云或本地的任何数据中心...
2018-11-29 12:51:04
1514
转载 细说Go语言切片
目录内部实现声明切片初始化数组切片内存结构使用切片迭代切片切片重组在函数间传递切片new()和make()的区别字符串、数组和切片的应用从字符串生成字节切片字符串和切片的内存结构修改字符串中的某个字符在上一篇文章中已经了解了数组，数组有特定的用处，但是却有一些呆板(数组长度固定不可变)，所以在 Go 语言的代码里并不是特别常见。接下来聊聊切片(slice)，相对的，切片...
2018-11-29 12:11:04
11030
4
转载 Kerberos 简介——教你做个好人
文章导读：对称加密非对称加密数字证书Kerberos认证流程Hadoop生态利用Kerberos认证机制来识别可靠的服务和节点，保障Hadoop集群的安全，那么Kerberos到底是什么？为什么要选择它来进行认证？Kerberos认证的流程又是怎样的呢？让我们带着这些问题看一下这篇文章。Kerberos是什么Kerberos是一种网络认证协议，它作为一种可信任的第三方认证服务，通过对...
2018-11-29 11:51:04
367
转载 vue 右键菜单插件 简单、可扩展、样式自定义的右键菜单
今天分享的不是技术，今天给大家分享个插件，针对现有的vue右键菜单插件，大多数都是需要使用插件本身自定义的标签，很多地方不方便，可扩展性也很低，所以我决定写了一款自定义指令调用右键菜单（vuerightmenu） 安装 1 npm install rightmenu --save-dev 开始//main.jsimport vue from "vue";imp...
2018-11-29 11:11:05
3661
5
转载 elasticsearch 亿级数据检索案例与原理
版权说明： 本文章版权归本人及博客园共同所有，转载请标明原文出处( https://www.cnblogs.com/mikevictor07/p/10006553.html )，以下内容为个人理解，仅供参考。一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关...
2018-11-29 10:51:09
5853
转载 RabbitMQ权限控制原理
我们在使用MQ搭建系统的时候，经常要开放队列给外接系统访问。外接系统的稳定性是不可控的。为了防止外接系统不稳定导致误操作破坏了MQ的配置或数据，需要对MQ做比较精细的权限控制。我的需求是这样的：我有一个数据查询服务，并且通过MQ推送数据变动消息。对接MQ的每个系统都会有自己一个独立的队列来读取消息。所有消息通过一个扇形交换机广播到所有队列。我需要这个交换机和所有队列都由管理员统一创建好。而其他...
2018-11-29 10:11:09
217
转载 RabbitMQ权限控制原理
我们在使用MQ搭建系统的时候，经常要开放队列给外接系统访问。外接系统的稳定性是不可控的。为了防止外接系统不稳定导致误操作破坏了MQ的配置或数据，需要对MQ做比较精细的权限控制。我的需求是这样的：我有一个数据查询服务，并且通过MQ推送数据变动消息。对接MQ的每个系统都会有自己一个独立的队列来读取消息。所有消息通过一个扇形交换机广播到所有队列。我需要这个交换机和所有队列都由管理员统一创建好。而其他...
2018-11-29 09:51:03
137
转载 locust压测rpc协议
这里主要是google的grpc接口进行压测的一个栗子。Locust是以HTTP为主要目标构建的。但是，通过编写钩子触发器request_success和 request_failure事件的自定义客户端，可以轻松扩展到任何基于请求/响应的系统的负载测试 。我们知道locust默认内部只封装httplocust；使用的是requests中的session进行了封装；那么问题来了，如果我想测...
2018-11-28 14:11:03
1777
3
转载 SpringBoot(十一) Dubbo分布式与Zookeeper
Dubbo简介 1、Dubbo简介1. Dubbo是什么？dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东西，说白了就是个远程服务调用的分布式框架（告别Web Service模式中的WSdl，以服务者与消费者的方式在dubbo上注册）2. Dubbo能做什么？1.透明化的远程方...
2018-11-28 13:51:02
129
转载 iOS开发简记（8）：数据持久化
数据持久化，也就是把数据保存到磁盘，以后可以再读取出来使用（也可以再次更改或删除）。很多场景需要数据持久化，比如为了减轻服务器的访问与存储压力，客户端需要在本地做一些数据持久化的工作。iOS的数据持久化，有几种方式，包括：自定义格式的文件、plist、CoreData、FMDB等等。这里记录基于CoreData的开源项目MagicalRecord的使用。经过封装，magicalrecord已经...
2018-11-28 13:11:01
242
转载 iOS开发简记（8）：数据持久化
数据持久化，也就是把数据保存到磁盘，以后可以再读取出来使用（也可以再次更改或删除）。很多场景需要数据持久化，比如为了减轻服务器的访问与存储压力，客户端需要在本地做一些数据持久化的工作。iOS的数据持久化，有几种方式，包括：自定义格式的文件、plist、CoreData、FMDB等等。这里记录基于CoreData的开源项目MagicalRecord的使用。经过封装，magicalrecord已经...
2018-11-28 12:51:01
165
转载 docker 创建mysql镜像，并成功进行远程连接
1.安装1.1 拉取镜像docker pull mysql拉取成功可以验证一下docker images1.2 创建并启动一个mysql容器docker run --name ly-mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d mysql–name：给新创建的容器命名，此处命名为ly-mysql-e：配置信息，此处配置mys...
2018-11-28 12:11:01
933
转载 【杂谈】线程中断——Interrupt
前言 以前有一个错误的认识，以为中断操作都会抛出异常，后来才发现并不是这样，所以今天就来做一个关于中断的总结。如何关闭线程 已被弃用的Stop方法 早期，Thread类中有一个stop方法，用于强行关闭一个线程。但是后来发现此操作并不安全，强行关闭可能导致一致性问题。故stop方法已被官方弃用。具体原因请看Why are Thread.stop, Thread.suspend a...
2018-11-28 11:51:01
252
转载 fabric网络环境启动过程详解
这篇文章对fabric的网络环境启动过程进行讲解,也就是我们上节讲到的启动测试fabric网络环境时运行network_setup.sh这个文件的执行流程fabric网络环境启动过程详解上一节我们讲到 fabric网络环境的启动测试，主要是使用 ./network_setup.sh up 这个命令，所以fabric网络环境启动的重点就在network_setup.sh这个文件中。接下来我们就分...
2018-11-28 11:11:04
734
转载 Elastic Stack-Elasticsearch使用介绍(六)
一、前言 很久没有更新博客，实在对不住大家。从10月份假期以后我就开始优化程序，来应对双11，这段时间确实很忙，不好意思。好在优化效果还不错，我负责的模块在双11期间没有任何大问题，整体效果还是比较好的，直到本周才正真的做到解放。扯淡过后，这里我还是开始我们监控篇，监控有些数据还是要借助于Kibana去观察的，我这边在暂时先放一下Kibana下篇咱们探讨下，这里先只用Kibana去展示下我...
2018-11-28 10:51:09
160
转载 应届生秋招可能会遇到的三个问题
第一题：喜欢但是工资低的工作跟不喜欢但是工资高的工作，如何抉择？自我介绍的时候应该突出什么方面比较讨喜？好的，我们现在说一下这个同学的问题，喜欢但是工资低的工作和不喜欢但是工资高的工作，该如何选择，那在大原则上我们肯定都是建议大家去选择，喜欢的工作。就是工资低，这个是一个现状，工资可以通过后期的努力，可以去慢慢的提升，但是喜欢这件事情来说，是比较难改变的。所以，如果你挑了一个不喜欢的工作，一...
2018-11-28 10:11:04
314
转载 Spring源码-循环依赖源码解读
Spring源码-循环依赖源码解读 笔者最近无论是看书还是从网上找资料，都没发现对Spring源码是怎么解决循环依赖这一问题的详解，大家都是解释了Spring解决循环依赖的想法（有的解释也不准确，在《Spring源码深度解析》作者也是看别人的博客说明了一下），没有从源码的角度分析是怎么解决循环依赖的，笔者就把自己看源码的过程写一下。Spring中对象可以配置成单例模式也可配置为原型模式（原型...
2018-11-28 09:51:01
147
转载 【Python3爬虫】使用Fidder实现APP爬取
之前爬取都是网页上的数据，今天要来说一下怎么借助Fidder来爬取手机APP上的数据。 一、环境配置1、Fidder的安装和配置没有安装Fidder软件的可以进入这个网址下载，然后就是傻瓜式的安装，安装步骤很简单。在安装完成后，打开软件，进行如下设置： 这里使用默认的8888端口就好了，如果要修改的话，要避免和其他端口冲突。2、手机的配置首先打开cmd，输入ipconfig查看I...
2018-11-27 14:11:00
766
1
转载 漫画 | Servlet属于线程安全的吗？
Servlet属于线程安全的吗？Servlet不是线程安全的在JSP中，只有一行代码：<%=A+B %>，运行结果如何？jsp和servlet有什么关系？jsp一般被用在view层上,用来显示数据servlet一般做后台的逻辑上的业务处理用iso8859-1如何转换成utf-8?你如何防止直接敲URL进行访问页面？谈谈Jsp的9大内置对象 1、reques...
2018-11-27 13:51:00
151
转载 Redis设置Key/value的规则定义和注意事项（附工具类）
对于redis的存储key/value键值对，经过多次踩坑之后，我们总结了一套规则；这篇文章主要讲解定义key/value键值对时的定义规则和注意事项。前面一篇文章讲了如何定义Redis的客户端和Dubbo集成存储器；当我们真正开始开发的时候，就会突然发现，有点不知道如何去定义Redis的Key和Value值格式，不要着急，马上我们就可以明白如何去定义和使用，下面我们开始讲解如何定义。Sp...
2018-11-27 13:10:59
706
1
转载 并发编程学习笔记之Java存储模型(十三)
概述Java存储模型(JMM),安全发布、规约,同步策略等等的安全性得益于JMM,在你理解了为什么这些机制会如此工作后,可以更容易有效地使用它们.1. 什么是存储模型,要它何用.如果缺少同步,就会有很多因素会导致线程无法立即,甚至永远无法看到另一个线程的操作所产生的结果:编译器生成指令的次序,可以不同于源代码书写的顺序,而且编译器还会把变量存储在寄存器,而不是内存中.处理器可以乱序或者并...
2018-11-27 12:51:00
288
转载 Istio全景监控与拓扑
根据Istio官方报告，Observe（可观察性）为其重要特性。Istio提供非侵入式的自动监控，记录应用内所有的服务。我们知道在Istio的架构中，Mixer是管理和收集遥测信息的组件。每一次当请求到达的时候，Envoy会调用Mixer进行预检查，在请求处理完毕后也会将过程上报给Mixer。 今天我们会结合开源监控插件（Jaeger）与嵌入Istio服务的应用性能管理服务来为大家展示部分...
2018-11-27 12:10:59
849
转载 并发编程学习笔记之Java存储模型(十三)
概述Java存储模型(JMM),安全发布、规约,同步策略等等的安全性得益于JMM,在你理解了为什么这些机制会如此工作后,可以更容易有效地使用它们.1. 什么是存储模型,要它何用.如果缺少同步,就会有很多因素会导致线程无法立即,甚至永远无法看到另一个线程的操作所产生的结果:编译器生成指令的次序,可以不同于源代码书写的顺序,而且编译器还会把变量存储在寄存器,而不是内存中.处理器可以乱序或者并...
2018-11-27 11:51:05
103
转载 springboot的war和jar包
本篇和大家分享的是通过maven对springboot中打war包和jar包；war通常来说生成后直接放到tomcat的webapps下面就行，tomcat配置自动解压war，而jar一般通过命令行部署和启动；首先，来实战怎么生成war包，主要来说可以分为3个步骤：程序入口改造排除springboot内置tomcatspring-boot-maven-plugin插件中配置程序入口程序入...
2018-11-27 11:11:00
122
转载 微服务学习导航
希望给你3-5分钟的碎片化学习，可能是坐地铁、等公交，积少成多，水滴石穿，码字辛苦，如果你吃了蛋觉得味道不错，希望点个赞，谢谢关注。如何学习 学习是一个人的核心竞争力，终生持续学习是别人离不开你的秘诀，如果能分享和教会别人，你的收获可能是双边甚至更多。就技术领域的学习，我还是一个在海边玩耍的小孩，时不时因为捡到一块漂亮的石头就开心不已。学习金字塔 学习金字塔是个被熟知的好方法，如下...
2018-11-27 10:50:59
341
转载 深耕技术的同时，别忘了走出自己的舒适区
01最近认识一个大学生，一个让我觉得非常厉害的大学生——有三个工作室，还有一间店铺；月收入具体有多少，我红着脸不敢问，据他自己说这一周光投资区块链就亏损了一万八！听他侃侃而谈的时候，总有一根神经在提醒我：“这孩子百分之一百是富二代！”我忍不住杀死一只猫的好奇心问了他，结果他的回复更令我吃惊——“兄弟，我高中的时候就经济独立了好不好？”如果非要让我用一句话来形容此刻的心情，那就是——人与人之间...
2018-11-27 10:10:59
277
1
转载 Dora.Interception，为.NET Core度身打造的AOP框架 [5]：轻松地实现与其他AOP框架的整合
这里所谓的与第三方AOP框架的整合不是说改变Dora.Interception现有的编程，而是恰好相反，即在不改变现有编程模式下采用第三方AOP框架或者自行实现的拦截机制。虽然我们默认提供基于IL Emit实现方式，并且对IL指令进行了深度的优化，但是如果我们真的具有更好的选择，我们可以通过简单的扩展完成对底层拦截机制改变。一、IInterceptingProxyFactory对于Dora.Int...
2018-11-27 09:51:00
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人