2017年02月_镹丶天

12月 11月 10月 09月 06月 05月 04月 03月 02月 01月

原创 you-get视频采集

简介：you-get 是一个开源的视频采集工具，基于python 开发的，使用它可以轻松下载网上视频，图片，音频等资源文件。必须条件1.安装python环境。 2.配置python环境变量you-get安装pip install you-get检查是否安装成功在cmd命令行输入 you-get 安装成功会显示如下： you-get参数说明 -i | --info 打印信息提取的信息 -

2017-02-26 00:06:20 536

原创 python 正则表达式

# pattern = re.compile(r"(?<=id=).+?(?=&)")# matcher = re.search(pattern,response.url)# if matcher:# saveName = str(matcher.group())

2017-02-20 14:48:46 196

原创 Eclipse 安装python 环境

既然你Eclipse安装好了，那么肯定是有JDK的，所以JDk安装这个步骤直接跳过。一、启动Eclipse, 点击Help->Install New Software… 在弹出的对话框中，点Add 按钮。 Name中填:Pydev, Location中填http://pydev.org/updates然后一步一步装下去。如果装的过程中，报错了。就重新装。配置pydev解释器安装好p

2017-02-17 09:33:10 566

原创使用bat设置java环境变量

有时候需要切换多个版本，所以干脆一次性做好准备工作，而bat批处理很好的解决了个麻烦只需要更改，JDK的路径就可以了，其他代码不用管。设置的时候360会发发神经，木马文件，这个不用管它！@echo off set regpath=HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Environment

2017-02-16 21:26:04 4274 1

原创那些年踩过的坑

报错:No module named builtinssudo pip install future

2017-02-15 16:07:03 585 1

原创 Ubuntu安装phantomjs

sudo apt-get install phantomjs查看是否安装成功如果成功则会显示版本号phantomjs --version

2017-02-15 15:40:19 282

原创 Hbase-Shell常用命令

hbase command查询状态：status 查询版本：version创建表对象： create ¨t¨,¨t_id¨,¨t_vl¨ ，第一个参数用于指定表名，后面跟的所有参数都是列族的名称查看表对象：list 查看表结构： desc修改表对象，修改(含删除)前必须首先禁用对象，执行修改命令成功后，再启用对象。禁用对象： disable ¨t¨判断当前表对象启用或禁用：is_ena

2017-02-10 18:11:03 222

原创 C#验证代理Ip地址

码上来了？命名空间： using System.Net; using System.Text; /// <summary> /// 验证IP地址 /// </summary> /// <param name="str">Ip地址</param> /// <param name="port">端口号</param>

2017-02-10 18:07:39 936

原创 Scrapy+phantomjs爬取动态网页数据

安装phantomjs安装包下载地址： http://phantomjs.org/ ，包括 Windows ，Mac OS，Linux版本，自行选择对应版本下载解压即可（为方便使用，可自已为phantomjs设置环境变量），其中带有一个example文件夹，里面有很多已经写好的代码供使用。本文假设phantomjs已经安装好并已设置了环境变量。Scrapy 中在setting 文件设置#pha

2017-02-09 10:30:42 4885 1

转载 Spider 中间件(Middleware)

Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request。激活 spider 中间件要启用 spider 中间件，您可以将其加入到 SPIDER_MIDDLEWARES 设置中。该设置是一个字典，键位中间件的路径

2017-02-09 09:43:11 5503