- 博客(24)
- 资源 (38)
- 收藏
- 关注
RSS订阅原创 数组拆分 I array-partition leetcode python
1. 题目 给定长度为 2n 的数组, 你的任务是将这些数分成 n 对, 例如 (a1, b1), (a2, b2), ..., (an, bn) ，使得从1 到 n 的 min(ai, bi) 总和最大。示例 1:输入: [1,4,3,2]输出: 4解释: n 等于 2, 最大总和为 4 = min(1, 2) + min(3, 4).提示:n 是正整数,范围在 [1, 10000].数...
2018-04-26 08:23:30
772
原创 Docker ubuntu 安装 chrome chromedriver
RUN apt-get -y install xvfb gtk2-engines-pixbufRUN apt-get -y install xfonts-cyrillic xfonts-100dpi xfonts-75dpi xfonts-base xfonts-scalableRUN apt-get -y install imagemagick x11-appsRUN Xvfb -ac :...
2018-04-23 16:26:54
4611
原创 React native ListView 增加顶部下拉刷新和底下点击刷新
1. 底部点击刷新 1.1 先增加一个按钮render() { if(!this.state.data){ return( <Text>Loading... </Text> ) }else{ return( <ListView refreshControl={...
2018-04-21 17:29:20
696
原创 React native fetch json 显示在ListView
1.构造函数设置data为空 constructor(props){ super(props); this.state = { data: null } } 2.fetch 数据把data设置为ListView.DataSource componentDidMount(){ fetch('http://127.0.0.1/getScore/100'...
2018-04-21 10:56:13
732
原创 Docker mongodb Dockerfile ubuntu
1.目录结构，把配置文件也放这里，等下复制到image里面去2.mongod.confnet: port: 27017 bindIp: 0.0.0.0security: authorization: enabledsystemLog: destination: file path: "/data/log/mongod.log" logAppend: truestora...
2018-04-18 15:43:39
962
原创 Mongodb 简单配置和密码访问
1.配置net: port: 27017 bindIp: 0.0.0.0security: authorization: enabledsystemLog: destination: file path: "/data/log/mongod.log" logAppend: truestorage: dbPath: "/data/db"#processManage...
2018-04-18 12:59:39
848
原创 mac mongodb pymongo 简单使用
1.安装mongodb brew install mongodbbrew services start mongodbbrew services stop mongodbbrew services restart mongodb写配置文件mongodb.confport=27017dbpath=/Users/walle/Documents/mongoConfig/dblogpath=/...
2018-04-17 19:46:17
1082
原创 Docker 常用命令
Image 相关1. 删除image docker rmi docker rmi -f runoob/ubuntu:v4 2. 显示所有image docker images 容器相关1. 删除container docker rm 删除容器而且加挂载的数据卷 docker rm -v nginx01 2. 显示所有container docker ps -a 3.运行docker run...
2018-04-16 16:36:54
239
原创 Python 多线程
import queueimport threadingimport timeclass WorkManager: def __init__(self): self.done_work = [] self.target_work = queue.Queue() def isEmpty(self): return self.ta...
2018-04-12 18:58:34
457
原创 Scrapy Mac Selenium chrome headless
1. 安装chrome，chromedriver chrome浏览器要升级到最新版本。用brew安装chromedriver用pip安装 Selenium 2. 写middleware # -*- coding: utf-8 -*-# Define here the models for your spider middleware## See documentation in:# ht...
2018-04-12 15:09:41
818
原创 Python range
range(start, stop[, step])参数说明：start: 计数从 start 开始。默认是从 0 开始。例如range（5）等价于range（0， 5）; stop: 计数到 stop 结束，但不包括 stop。例如：range（0， 5） 是[0, 1, 2, 3, 4]没有5 step：步长，默认为1。例如：range（0， 5） 等价于 range(0, 5, 1)rang...
2018-04-11 17:42:26
407
原创 用Scrapy Splash 来抓取渲染后的html页面
很多复杂的网页都是用javascript来对网页进行填充，这样用request的body和在浏览器中看到的不一样啊。这个时候splash就可以使用了，它是提供一个轻量级的api，传给它网址，它返回网页内容。这样就OK了1.安装splash要先安装dockerdocker pull registry.docker-cn.com/scrapinghub/splash #从docker镜像中拉取sp...
2018-04-11 16:58:26
4640
1
原创 Scrapy 抓取图片301 和 403错误
1. 301错误 301是重定向，在settings加这个就可以了，默认是FalseMEDIA_ALLOW_REDIRECTS =True 2.403错误 403是禁止访问的错误，我这边是因为对方对Referer进行了判断，如果是空就会403，在process_request中的request中加Referer.用目标网址替换这边的xxxxx def process_request(self...
2018-04-11 13:53:38
2445
原创 Scrapy middleware 设置随机User-Agent 和 proxy
1.初始化一些User-Agent 建立一个文件叫useragent.py agents = [ "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5", "Mozilla/5.0 (Windows; U...
2018-04-11 10:53:42
2237
1
原创 Python class 与c++ 之类的区别
1.类里每个方法第一个参数都是selfclass Foo: empCount def __init__(self, name, age): self.name = name self.age = age def detail(self): print(self.name) print(self.age)2. 构造函数的名字是 __init__3. ...
2018-04-10 20:23:05
2917
原创 Python 切片 [::]
通常一个切片操作要提供三个参数 [start_index: stop_index: step] start_index是切片的起始位置 stop_index是切片的结束位置（不包括） step可以不提供，默认值是1，步长值不能为0，不然会报错ValueError。当 step 是正数时，以list[start_index]元素位置开始， step做为步长到list[stop_index]元素位置（...
2018-04-10 19:30:54
1446
原创 Docker 部署Scrapy
假设我们要在10台Ubuntu 部署爬虫如何搞之？用传统的方法会吐血的，除非你记录下来每个步骤，然后步骤之间的次序还完全一样，这样才行。但是这样还是累啊，个别软件下载又需要时间。所以Docker出现了。Docker把系统，各种需要的应用，还有设置编译成一个image，然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持，共用的。1. 部署步骤1.1 上传本地scrapy爬虫代码除了set...
2018-04-09 16:47:14
2417
原创 Scrapy 抓取图片
1. 先写一个特殊的Itemclass CSDNImgItem(scrapy.Item): image_urls = scrapy.Field() images = scrapy.Field()注意这个字段是写死的image_urls 是图片的地址的一个数组，images记录图片信息不用管。 2.yield item image_urls = response.css('#cnbl...
2018-04-09 06:56:01
574
原创 redis 持久化存储数据
在用scrapy-redis分布式抓爬虫的时候，忘记对redis进行持久化存储了，第二天打开redis里面数据没了。。。所以要研究下redis持久化的问题。。。redis分两种持久化分别是RDB和AOF方式。1. RDBRDB是快照，RDB是一个文件后缀是.rdb， 是某一时刻Redis中所有数据的副本。可以随便复制到别的电脑去。然后启动redis的就是就有数据了。所以需要设置rdb的文件名和存储...
2018-04-08 19:07:46
2046
原创 使用 Scrapy-Redis 进行分布式爬取
1. 简单原理我们知道scrapy大致的原理是这样，首先会在start_requests 这个方法里发出一些请求url，然后在parse里进行解析，解析的item抛给pipeline进行处理. parse 如果又解析到url，抛出，先看下是否要过滤这个url，是否重复了，如果没有重复，发一个新请求这个url，再调用别的parse进行处理。直到待请求的url都为空，就停止爬虫。import scra...
2018-04-07 10:25:56
4106
原创 pycharm 调试 scrapy
首先我们用pig3 安装scrapy后，然后使用scrapy crawl xxx 其实是用编译好的执行文件来执行而已，这个执行文件的位置在 /usr/local/bin/scrapy 后面的crawl 和xxx都是参数，其中xxx表示爬虫的名字，也不是文件名啥的。而pycharm 调试其实是用python xxx的形式，就是用python来执行脚本。所以要真的调试scrapy，要用python...
2018-04-02 09:31:20
400
原创 Scrapy 抓取指数基金6个月前10 名 存到mongodb 中
1.抓取前的分析 http://fund.eastmoney.com/trade/zs.html#zwf_,sc_6y,st_desc 地址是这个，我们发现中间的内容是后来通过ajax来加载的，所以这个地址是抓取不到的。通过chrome开发者工具发现真正的地址是这个： https://fundapi.eastmoney.com/fundtradenew.aspx?ft=zs&sc=3y&a...
2018-04-01 21:22:06
657
原创 Scrapy 模拟登录 用户名加密码
1. 模拟登陆抓取步骤1.1 先通过浏览器工具查看是否有隐藏的input 内容一起提交1.1.1 先请求登陆界面，对页面进行解析，获取隐藏的input 内容1.2 通过浏览器工具查看提交的所有表单，记录下来1.3 1.2中表单加上隐藏的一起提交1.4 等返回就request 目标url即可。 2. 用浏览器工具查看是否有隐藏input我们这次的是CSDN的登陆界面 https://passport...
2018-04-01 11:05:41
2410
1
原创 Scrapy 使用写死的cookie 来爬需要登录的页面
1. 流程 1.1先用浏览器chrome来访问目标地址，手动输入账号和密码，登录后，查看cookie，然后放到请求里面 2. 优缺点优点：1.可以跳过验证码2.不需要写登录的内容缺点：1.cookie有些网站容易过期2.每次带cookie请求增加网络带宽所以说适合小网站短时间操作 3.获取cookie用chrome浏览器，浏览目标地址，我这边是https://mp.csdn.net/postlis...
2018-04-01 08:20:16
5207
native-audio.rar
2012-04-20
三星Calendar
2013-08-26
Air Hockey.7z
2013-08-10
boost xpressive
2013-07-24
MFC 多线程
2013-07-22
MFC 数据库操作
2013-07-22
Android Opengles 例子
2013-06-22
号码归属地.rar
2013-05-28
CursorLoadSample.rar
2013-05-17
HLSL Pixel Shader
2012-12-18
YawPitchRoll.rar
2012-12-07
RotationArbitrary.rar
2012-12-04
3ds max 2009 导出x文件插件(panda)
2012-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人