2017年12月_只爱写代码

原创 nltk入门

下载nltk book合集import nltknltk.download() C:\Users\Administrator\AppData\Roaming\nltk_data

2017-12-20 10:42:00 264

原创 redis数据库配置

Linux 下安装安装$ wget http://download.redis.io/releases/redis-2.8.17.tar.gz$ tar xzf redis-2.8.17.tar.gz$ cd redis-2.8.17 /etc/redis.conf$ make启动服务$ cd src$ ./redis-server redis.conf修改配置文件redis.conf69

2017-12-18 10:54:49 179

1.linux下安装yum install https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpmyum install postgresql96yum install postgresql96-server/usr/pgsql-9.6/bin/post

2017-12-09 18:04:17 198

原创 Scrapy-redis分布式爬虫

分布式爬虫步骤： 1.先用scrapy写出爬虫项目 2.redis 服务器 3.把原来单机版改成分布式 a 修改settings b 修改爬虫类继承 from scrapy_redis.spiders import RedisSpider —– spider from scrapy_redis.spiders import Redis

2017-12-07 23:31:41 377

原创 Scrapy添加随机ip

在settings.py里从数据库取出ip：import pymongodef get_proxy(): mongoclient = pymongo.MongoClient(MONHOST,MONPORT) db = mongoclient[MONDB] proxy_list = db.host.find() PROXIES = [] for proxy i

2017-12-07 21:49:31 1212

原创 Scrapy连接Mongodb

piplines.py:class Mongo66Pipeline(object): def __init__(self): self.connection = pymongo.MongoClient(settings['MONHOST'],settings['MONPORT']) db = self.connection[settings['MONDB']]

2017-12-07 20:49:07 1154

原创 Scrapy框架学习（1）

Scrapy框架官方网址：http://doc.scrapy.org/en/latest安装Windows 安装方式 • Python 2 / 3 • 升级pip版本：pip install –upgrade pip • 通过pip 安装 Scrapy 框架pip install Scrapy 若出现报错ImportError: No module named win32api，

2017-12-07 19:26:48 268

原创 pandas读取csv文件的指定列

CPI = pd.read_csv(‘cpi.csv’,index_col=’month’,usecols=[1,2]) usecols参数可以指定列号！

2017-12-05 10:49:55 11713

转载数组的维度

一个数组中的某个元素，当用数组下标表示的时候，需要用几个数字来表示才能唯一确定这个元素，这个数组就是几维。例如，一个数字确定一个元素：a[7]就是一维的两个数字确定一个元素：b[5][9]是二维三个数字：c[6][8][1]是三维 ………… n个数字就是n维可以把数组的维看成是“数组套数组的层数”例如，数组{ 1, 5, 9, 0 }是一维数组，要找到数字9只需找第三个数字。x={ {1

2017-12-04 15:24:10 5726 1

原创 python函数应用（2）

1.矩阵对应元素相乘与eye函数构造对角矩阵a = np.array([[1,2,3], [4,5,6], [7,8,9]])a*np.eye(3)array([[ 1., 0., 0.], [ 0., 5., 0.], [ 0., 0., 9.]])2.linalg.inv矩阵求逆import n

2017-12-04 15:21:46 222

原创 pandas 0.22导入错误

如下： ImportError: C extension: numpy.core.multiarray failed to import not built. If you want to import pandas from the source directory, you may need to run ‘python setup.py build_ext –inplace –force’...

2017-12-01 22:58:05 6784

转载 pip常用命令

安装sudo easy_install pip 列出已安装的包pip freeze or pip list 导出requirements.txtpip freeze > <目录>/requirements.txt 安装包在线安装pip install <包名> 或 pip install -r requirements.txt通过使用== >= <= > <来指定版本，不写则安装最新版re

2017-12-01 22:55:08 393

原创 python函数应用（1）

1.append函数纵向合并a = np.array([[1,2], [3,4]])b = np.array([[5,6], [7,8]])c = np.append(a,b,0)print c[[1 2] [3 4] [5 6] [7 8]]c = np.append(a,b)输出[1 2 3 4 5 6 7 8]2.swa

2017-12-01 20:05:36 461

人生苦短，LET US GO