- 博客(86)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 win10 RabbitMQ安装
目录 安装Rabbit下载并安装erlang下载并安装RabbitMQ安装RabbitMQ-Plugins验证错误解决方案rabbitMQ运行命令创建用户，密码，绑定角色RabbitMQ角色介绍RabbitMQ权限介绍 安装Rabbit下载并安装erlang原因：RabbitMQ服务端代码是使用并发式语言Erlang编写的，安装Ra...
2018-10-11 16:31:09
946
原创 RabbitMQ命令详解、权限角色介绍
目录 rabbitMQ运行命令创建用户，密码，绑定角色RabbitMQ角色介绍RabbitMQ权限介绍 rabbitMQ运行命令创建用户，密码，绑定角色1. 查看已有用户及用户的角色：rabbitmqctl list_users2. 新增一个用户：rabbitmqctl add_user username password在liuxl后没有角色信息，...
2018-10-11 16:30:39
444
转载 Consul与euerka对比
最大的区别是Eureka保证AP, Consul为CP。Consul强一致性(C)带来的是：服务注册相比Eureka会稍慢一些。因为Consul的raft协议要求必须过半数的节点都写入成功才认为注册成功 Leader挂掉时，重新选举期间整个consul不可用。保证了强一致性但牺牲了可用性。Eureka保证高可用(A)和最终一致性：服务注册相对要快，因为不需要等注册信息replica...
2018-10-11 12:31:34
703
转载 RabbitMQ中 exchange、route、queue的关系
从AMQP协议可以看出，MessageQueue、Exchange和Binding构成了AMQP协议的核心，下面我们就围绕这三个主要组件 从应用使用的角度全面的介绍如何利用Rabbit MQ构建消息队列以及使用过程中的注意事项。 1. 声明MessageQueue 在Rabbit MQ中，无论是生产者发送消息还是消费者接受消息，都首先需要声明一个Mess...
2018-10-11 12:30:35
317
原创 crontab介绍 及遇到问题 及在线测试
在线测试网址：http://www.matools.com/crontab执行crontab -e#执行python脚本，输出为后台日志 35 11,19 * * * python3 /root/pyrun/wechat_crawl/articles_update_exec.py > /root/pyrun/log/articles_update_exec.txt 2>...
2018-10-10 22:28:55
591
原创 python3 selenium Select用法及Alert对话框处理
上一张介绍了selenium ActionChains用法selenium提供了更高级的玩法，Select模块。直接根据属性或索引定位。导入包 from selenium.webdriver.support.select import Select1. 通过select选项的索引来定位选择对应选项（从0开始计数），如选择第三个选项:select_by_index(2) r...
2018-10-10 00:21:51
1485
转载 python3 selenium ActionChains用法
下面介绍一下ActionChains：用selenium做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双击、点击鼠标右键、拖拽等等。而selenium给我们提供了一个类来处理这类事件——ActionChains selenium.webdriver.common.action_chains.ActionChains(driver)这个类基本能够满足我们所有对鼠标...
2018-10-09 23:37:07
13844
1
转载 python selenium selector 循环选择
Select提供了三种选择方法：# 通过选项的顺序，第一个为 0 select_by_index(index)# 通过value属性 select_by_value(value) # 通过选项可见文本select_by_visible_text(text) Select提供了四种方法取消选择：deselect_by_index(index) deselect_by_va...
2018-10-09 15:04:28
4013
原创 linux selenium chrome chromedriver及无浏览器界面运行方式
1. 安装chrome我使用的是Centos7,使用如下安装方式配置yum下载源：在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo, 并且在该文件中添加如下内容：[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$b...
2018-10-06 00:28:41
12863
转载 linux下python程序后台运行，并将打印信息保存文件
在跑比较时间比较长的程序，或者是打印信息比较多的程序时，一般都会后台运行程序，然后把打印信息保存在文件中，等程序运行结束后再检查输出日志。完成该功能可以用如下命令：nohup python -u test.py > test.log 2>&1 &其中，1. 最后一个“&”表示后台运行程序2. “nohup” 表示程序不被挂起3. “pytho...
2018-10-05 21:38:42
4924
2
转载 python中selenium操作下拉滚动条方法汇总
UI自动化中经常会遇到元素识别不到，找不到的问题，原因有很多，比如不在iframe里，xpath或id写错了等等；但有一种是在当前显示的页面元素不可见，拖动下拉条后元素就出来了。在python中有几种方法解决这种问题，简单介绍下，给需要的人：方法一）使用js脚本直接操作，方法如下：js="var q=document.getElementById('id').scrollTop=100...
2018-10-05 21:11:57
1372
原创 linux 安装 python环境
1. 安装python依赖环境# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel上述可根据具体情况安装，不需要所有插件可能会提示：Loaded...
2018-10-05 16:04:50
302
转载 Webmagic源码分析之运行流程
Webmagic是Java中的一个爬虫开源框架，主要有四大核心组件，分别是：Downloader、PageProcessor、Scheduler、Pipeline，并有Spider进行管理。这四个组件分别对应了爬虫生命周期中的下载、处理、管理、持久化。同时还支持XPath、Jsoup、CSS选择器，方便我们对抓取的页面进行解析。 Webmagic的源码可以从github上pull下来：h...
2018-09-29 11:28:09
496
原创 python3 webdriver.Chrome()，'chromedriver' executable needs to be in PATH，unknown error: cannot find
当运行webdriver.Chrome(),出现如下错误：selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary原因是没有找到chrome运行路径，也就是说你的chrome不是默认安装地址修改如下：增加binary_options:opti...
2018-09-23 16:33:44
742
转载 windows环境配置：同时安装Python2.7和Python3.6开发环境
一、下载安装Python2.7和Python3.6安装包下载地址：https://www.python.org/downloads/二、配置系统环境变量在环境变量中添加1.安装目录\Python272.安装目录\Python27\Scripts3.安装目录\Python364.安装目录\Python36\Scripts三、在安装目录中修改可执行文件找到pyth...
2018-09-22 15:09:06
261
原创 安装Python，运行PIP出现LookupError: unknown encoding: cp65001
安装Python27后，配置好环境变量，运行pip list出现如下错误Traceback (most recent call last): File "d:\app\python\python27\lib\runpy.py", line 174, in _run_module_as_main "__main__", fname, loader, pkg_name) File ...
2018-09-18 18:15:24
4430
转载 ES分词设置
ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。 官方站点：http://www.elasticsearch.com/ 中文站点：http://es-cn.medcl.net/ 1.安装 必须先安装Java环境，并设置 J...
2018-09-12 23:29:00
8499
2
转载 爬虫框架WebMagic源码分析之Scheduler
Scheduler是Webmagic中的url调度器，负责从Spider处理收集(push)需要抓取的url(Page的targetRequests)、并poll出将要被处理的url给Spider，同时还负责对url判断是否进行错误重试、及去重处理、以及总页面数、剩余页面数统计等。主要接口： Scheduler，定义了基本的push和poll方法。基本接口。 Monitorab...
2018-09-09 22:04:30
834
转载 redis五大类型用法
Redis五大类型:字符串（String）、哈希/散列/字典（Hash）、列表（List）、集合（Set）、有序集合（sorted set）五种Controller:@Resource RedisTemplate<String, String> redisTemplate;总括:redisTemplate.opsForValue();//操作字符串redisTemplate....
2018-09-07 18:20:01
135
转载 StringRedisTemplate常用操作，以及如何判断session过期
[java] view plain copystringRedisTemplate.opsForValue().set("test", "100",60*10,TimeUnit.SECONDS);//向redis里存入数据和设置缓存时间 [java] view plain copystringRedisTemplate.boundValueOps("test").increment(-...
2018-09-07 17:55:45
1977
原创 windows10安装TensorFlow并集成到idea
安装Python查看https://mp.csdn.net/postedit/82353224测试pip版本:pip -v 如果已经安装了Python，则进入Python scripts文件夹下，运行pip -v更新pip : python -m pip install -U pip安装TensorFlow（CPU环境）pip3 install --ignore-insta...
2018-09-04 02:14:44
1444
原创 windows10 64 安装Python ，pip ，selenium
1. 下载Pythonhttps://www.python.org/downloads/release/python-362/2. 配置环境变量PYTHON_HOME=D:\app\Python\Python36path = %PYTHON_HOME%;3. 安装pip其实从Python2.7以上就已经自带pip，在Python/Scripts文件夹中4. 安装se...
2018-09-03 19:18:43
649
原创 selenium打开chrome出错
在使用selenium启动谷歌Chrome浏览器的时候，是需要用到chromedirver的，两者之间的版本是需要匹配的，否则会出现下面类似的报错： Driver info: driver.version: ChromeDriver at org.openqa.selenium.remote.service.DriverService.waitUntilAvailable(Dr...
2018-09-03 18:54:07
3915
转载 Xpath的高级用法
xpath速度比较快，是爬虫在网页定位中的较优选择，但是很多网页前端代码混乱难以定位，而学习定位也较为不易（主要是全面的教程较少），这里列出一点编程过程中可能有用的东西，欢迎共同学习批评指正。试验环境：Python环境，lxml.etree试验所使用的html代码<!DOCTYPE html><html><head> <title&g...
2018-08-30 18:36:16
1892
转载 iptables 规则配置
摘要：二、IPTABLES规则(Rules)牢记以下三点式理解iptables规则的关键:Rules包括一个条件和一个目标(target)如果满足条件,就执行目标(target)中的规则或者特定值。如果不满足条件,就判断下一条Rules。目标值(TargetValues)下面是你可以在target里指定的特殊值:ACCEPT–允许防火墙接收数据包DROP–防火墙丢弃包QUEUE–防火墙将数据包...
2018-08-29 22:17:12
421
转载 spring cloud 含有依赖关系的maven项目打包
但当我们执行打包命令，平时都能成功，但是一旦含有这种依赖关系问题就出来了。mvn -f pom.xml clean package这个时候如果需要打包发布到docker基本是每次都会提示是缺少依赖的。如果要解决这个问题，要注意下面几点1.父项目不能含有打包插件2.先对父项目的文件夹下运行一个安装操作，如mvn -f pom.xml clean install注意：如果父...
2018-08-27 14:44:53
1148
原创 mysql5.7 遇见Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre的问题
mysql5.7在使用group by子句时，会遇到如下问题com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'ipm.cm.meas_id' whi...
2018-07-30 23:12:21
7240
1
原创 cenos开通远程端口
开通远程端口相对比较麻烦，首先要查看规则是否配置，然后再去配置端口。首先确定是否有iptables :service iptables status1. 安装：yum install -y iptables 升级iptables:yum update iptables2. 安装：yum install iptables-services iptables-servi...
2018-07-30 18:58:25
288
转载 关于计数排序、桶排序与基数排序的小结
把这三个拿到一起来说，是因为这三种排序思想很像。计数排序、基数排序、桶排序则属于非比较排序。非比较排序是通过确定每个元素之前，应该有多少个元素来排序。针对数组arr，计算arr[i]之前有多少个元素，则唯一确定了arr[i]在排序后数组中的位置。非比较排序只要确定每个元素之前的已有的元素个数即可，所有一次遍历即可解决。算法时间复杂度O(n)。非比较排序时间复杂度底，但由于非比较排序需要占用空间...
2018-07-28 14:52:44
149
转载 cenos mysql开启远程连接
首先确定是否有iptables安装：yum install -y iptables授权配置mysql远程连接：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;flush privileges;查看端口： mysql> show global va...
2018-07-27 00:52:00
188
转载 CentOs安装MySQL
在CentOS中默认安装有MariaDB，这个是MySQL的分支，但为了需要，还是要在系统中安装MySQL，而且安装完成之后可以直接覆盖掉MariaDB。1 下载并安装MySQL官方的Yum Repository[root@localhost ~]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10...
2018-07-27 00:16:22
144
转载 windows默认安装目录
方法一：开始，运行输入regedit打开注册表编辑器，展开注册表“HKEY_LOCAL_MACHINE\Software\Microsoft\ Windows\ CurrentVersion”分支，在窗口的右侧区域找到名为“ProgramFilesDir”和“ProgramFilesPath”的键值，将其原键值“C:\Program Files”改为“D:\Program Files”，关闭注册表...
2018-07-08 16:37:11
2206
转载 spark原理入门详解：包括生态、特点、概念等
问题导读：1.Spark的适用场景是什么？2.spark 运行流程是怎样的？3.Spark Streaming的运行原理是怎样的？spark 生态及运行原理Spark 特点运行速度快 => Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用...
2018-07-02 11:11:24
207
原创 Feign 微服务之间文件传输
在很多时候我们会遇到微服务之间文件传输，很多时候我们可以通过序列化等方式解决（如图片等）。最近项目中有个excel上传，以及多媒体文件上传，直接报错。也试了2种解决方式，都不可行。1. 写一个文件Encoder解析器，会出现其他的rest请求出现encoder错误2. springcloud feign有一个规范，不可以传输2个对象，可以是一个对象带几个参数方式。...
2018-06-28 11:02:48
12373
原创 springboot静态资源处理，统一日志拦截
静态资源拦截器对于一些小型的系统，如果要使得项目结构可视化可读性比较好，页面的静态资源管理，路径的管理等都需要有一定规范。我们先看看路径包含哪些：1. jar包内的本地路径，也即服务器容器路径2. http的URL路径，即网络请求路径3. 静态资源存储路径（通过URL请求图片，css等文件路径）我们来看看springMVC如何处理的首先，springMVC会通过映射把网络的...
2018-06-28 10:41:36
844
原创 sonarqube代码检查
下载地址：https://www.sonarqube.org/直接基于maven提交检查：clean package sonar:sonarsetting.xml加入： <profile> <id>sonar</id> <activation> <activeByDefault>tr...
2018-06-27 17:45:31
486
转载 CAP理论与MongoDB一致性、可用性的一些思考
目录 CAP理论 CAP理论起源CAP理论发展 MongoDB与CAP write-concern：read-reference:read-concern: 一致性 or 可用性？references 正文 大约在五六年前，第一次接触到了当时已经是hot topic的NoSql。不过那个时候学的用的都是mysql，Nosql对于我而言还是新事物，并没有真正使用，只是不...
2018-06-11 18:22:34
440
转载 深度学习与神经网络-压缩感知（Compressive Sensing）学习（五）
压缩感知（压缩传感，Compressive Sensing）理论是近年来信号处理领域诞生的一种新的信号处理理论，由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者)等人提出，自诞生之日起便极大地吸引了相关研究人员的关注。网站http://dsp.rice.edu/cs上可以获取大量相关的论文。 ...
2018-06-08 16:46:03
14782
转载 梯度下降算法
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称gr...
2018-06-06 18:50:27
8189
1
原创 深入浅出神经网络与深度学习-深度学习（四）
现在IT界人工智能、深度学习、机器学习很火，都能说出个123来，但真正知道他们的关系的我想只有真正去我们先来看下深度学习是个什么东东。他和人工智能，神经网络有什么关系？l 深度神经网络是一种具备至少一个隐层的神经网络。深度神经网络通常都是前馈神经网络。l 前馈型神经网络我们在之前章节也提到过，特征是至少有一个隐层。也就是说，多层前馈神经网络都是深度神经网络，但深度神经网络不一定是多层前馈神经网...
2018-06-05 19:05:22
2508
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人