凤凰传奇的粉丝

挟风奔跑,快感溢于言表;用心学习,知识武装大脑

我要爬爬虫(14)Android下charles抓包

移动端数据的爬取也可以分为两种,一种是类似于requestf

2019-01-10 16:16:59

阅读数 47

评论数 0

python操作excel和csv

python操作excel和csv用xlrd读取新的改变用xlwt写入解决csv文件打开是乱码 用xlrd读取 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 # 将数...

2019-01-10 16:16:06

阅读数 82

评论数 0

Docker基础学习

docker ps 列出正在运行的所有容器 docker ps -a 列出历史上所有容器 docker images 列出所有镜像 docker stop wizardly_chandrasekhar 停止容器 docker start 重启容器 docker rm 移除容器 docker log...

2019-01-10 16:14:32

阅读数 32

评论数 0

Docker Harbor安装配置

2018-12-07 12:41:55

阅读数 132

评论数 0

sonarqube安装

一开始写c++代码,使用sonarlint检查,只能点击一次,之后按钮会消失。 想要连接sonarqube,总是报错。 This solution contains no supported project language (C#, VB.Net). 居然不支持c++。。。于是我写了段c#,就...

2018-12-05 18:36:25

阅读数 69

评论数 0

git下载单个文件夹

1 看到网上说的Downgit,我根本打不开。。。 2 Tortoisesvn,安装好后,svn check out 也报错 the server does not support the HTTP/dav protocol 咋改都不好使。。。 3 在chrome浏览器上安装octo mate插...

2018-12-01 12:54:30

阅读数 108

评论数 0

代码缺陷密度计算

代码缺陷密度 代码缺陷密度是一种度量代码质量的指标,这里采用 按照每个bug的严重程度定义它们的权重,然后加起来得到总缺陷值,最后除以KLOC(千行代码)得到每千行代码的缺陷密度。 禅道bug值 为了获取bug的相关信息,我决定爬取禅道项目的bug提交列表。 其实禅道的api文档写的很简略,单看一...

2018-11-27 16:51:12

阅读数 244

评论数 0

C++代码覆盖率计算

opencppcoverage

2018-11-22 19:50:27

阅读数 155

评论数 0

安装appium

appium,类似于移动端的selenium,对于移动端的页面进行操作。 这里直接下载了安装包进行安装。 同时对于我的安卓手机,还需安装android studio。 在android studio 里安装Android sdk. 将Android sdk的路径保存为Android_Hom...

2018-09-22 01:15:47

阅读数 111

评论数 0

我要爬爬虫(12)-识别验证码

常见的几种验证码 图形验证码 安装tesserocr之后 import tesserocr from PIL import Image image = Image.open('origin.png') #打开一个图片对象 text = tesserocr.image_to_text(...

2018-09-11 21:09:55

阅读数 130

评论数 0

我要爬爬虫(11)-用selenium爬取淘宝商品信息

思路就是用selenium操作浏览器,访问淘宝,输入关键词,查找,用pyquery解析目标信息,翻页,存储到mongodb. 函数定义三个: 1 打开浏览器,查找初始化,翻页 from selenium import webdriver from selenium.webdriver.c...

2018-08-17 17:03:47

阅读数 287

评论数 0

win10非anaconda的tesserocr安装

对于没使用anaconda的我,是这样安装tesserocr的。 首先安装tesseract,在https://digi.bib.uni-mannheim.de/tesseract/里找到非dev的稳定版本,对应py3.5的tesseract-ocr-setup-3.05.01-20170602...

2018-08-17 14:02:06

阅读数 242

评论数 0

Win10家庭版安装Docker和splash

我的系统是win10家庭版,没有专业版自带的hyper-v虚拟机服务,所以只能使用dockertools和virtualbox的组合。 1 在Docker官网找到最新版本的dockertool 提示要先登录再下载,所以要注册登录一下,这里需要翻墙验证,不然按钮无法点击。 下载完毕后双击安...

2018-08-15 03:47:39

阅读数 1805

评论数 0

我要爬爬虫(10)-selenium使用

selenium是一个自动化测试工具,之前实现自动购票的时候就用过,这里再学一遍。就是驱动浏览器执行操作,比如点击,输入,拖拽等等。 selenium下有对应很多浏览器的webdriver,例如 browser=webdriver.Chrome()#这里只要实例化,就会打开指定的浏览器 这样...

2018-08-14 00:33:39

阅读数 92

评论数 0

我要爬爬虫(9)-Ajax数据爬取

很多网页的源代码和其实际的展示效果不一样,是因为有两段请求,除了我们向服务器发送的请求,还有该页面发送的ajax请求,是它把简单的原网页渲染成展示出来的效果。我们的目的就是实例化这个请求。 ajax请求的类型为xhr。 referer:ajax 请求的发送者 X-Request-With:X...

2018-08-13 20:47:34

阅读数 133

评论数 0

我要爬爬虫(8)-beautiful soup解析库

bs不基于正则,而是基于网页的结构和属性。 html = """ <html><...

2018-07-13 01:20:56

阅读数 71

评论数 0

我要爬爬虫(7)-xpath解析库

<div> <ul> <li class ="item-0"&a...

2018-07-12 00:10:24

阅读数 97

评论数 0

批量生成sql语句

SELECT concat( 'alter table ', table_schema, '.', table_name, ' modify column ', column_name, ' ', column_type, ' ', ...

2018-06-13 23:47:31

阅读数 47

评论数 0

我要爬爬虫(6)-爬取猫眼Top100电影

直接上代码

2018-06-13 23:41:30

阅读数 59

评论数 0

我要爬爬虫(5)-正则表达式

正则之前就学过,也用过,这里再过一遍吧~ python中主要使用re模块操作正则。 正则表达式测试工具http://tool.oschina.net/regex/,直接把文本转成正则。 常用规则 \w 字母,数字,下划线 \W 非\w \s 空 \S 非空 \d 数字 \D 非数字 \n ...

2018-06-07 01:39:23

阅读数 50

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭