![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 63
景珏
努力学习ing
展开
-
【scrapy】模拟登陆知乎
这个网上有个通用的教程,然而为这个教程已经花费了太多时间进行调试,和知乎上的朋友交流,很多人也是这个地方遇到了问题,最后的结果。。是放弃了crawlspider。。先贴下 这个链接。。。http://ju.outofmemory.cn/entry/105646 谨慎。。针对上面这个教程,遇到的几点问题:问题1:知乎的登陆url不再是/login了,根据email和phonenum分原创 2016-03-30 08:23:32 · 2171 阅读 · 3 评论 -
【python challenge】level2
__author__ = 'user'# -*- coding:utf-8 -*-import requestsimport urllib2import redef enchar(): url = 'http://www.pythonchallenge.com/pc/def/ocr.html' request = urllib2.Request(url) res原创 2016-07-26 10:21:21 · 434 阅读 · 0 评论 -
【Django】本地csv数据的页面table展示
实现目标:1 pandas:从本地读取csv文件,返回dataFrame数据格式。这里是考虑到未来以后要对数据进行分析结果。2 将DataFrame转化为json数据,返回到前端3 jQuery发送请求,接收json数据并灌到table标签中1 views.pydef ajax_list(req): a = req.GET.get('a') #获取参数原创 2016-05-31 16:31:50 · 4397 阅读 · 0 评论 -
【django】初探
1 环境安装python+Django+mysql安装,这个很简单就不说了,python是2.7.3版本,Django是1.9,mysql是5.5 把Django的bin目录添加到环境变量里面2 项目建立 首先建立一个目录Django,这里存放我们的Django项目 cmd下,运行 Django-admin.py startproject原创 2016-05-17 15:39:46 · 546 阅读 · 0 评论 -
【Django】数据库操作
1 settings.py的配置之前博文里面以及提及过django数据库连接的配置DATABASES = { 'default': { #'ENGINE': 'django.db.backends.sqlite3', # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), 'ENGINE': 'd原创 2016-05-24 14:52:15 · 422 阅读 · 0 评论 -
【python】read_csv+编码问题
想要读取一个excel文件,并且获取某一个分类下的所有的数据1 pandas官方api有read_excel方法,然而我试了总是提示找不到这个方法,so 还是采用了read_csv2 将excel转为csv文件,pd.read_csv(path)可以读取,但是乱码,pd.read_csv(path,encoding='utf-8')会出现只有变更csv文件本身的编码了,用not原创 2016-04-20 16:37:24 · 27405 阅读 · 0 评论 -
【python】零碎总结_转
1 产生数据 随机产生(0,1)中的数据: np.random.random(2) # array([ 0.66516976, 0.44746339]) 随机产生一个区间内的指定个数 :np.random.randint(-10,10,12).reshape(3,4) #array([[-9, 6, -1, 9],[ 7, -1, -4, 3],[ 7, 5,原创 2016-05-13 09:04:33 · 294 阅读 · 0 评论 -
【python】python for data analysis环境安装
书上说的直接EPDFree,但是得卸载之前的python,所以我就零散安装了。。环境windows+python2.71 安装numpy,scipy,matpoltlibhttp://blog.csdn.net/zhangyuehuan/article/details/391347472 安装ipythonhttp://blog.csdn.net/hmy1106/artic原创 2016-04-11 11:30:56 · 1023 阅读 · 0 评论 -
【scrapyd】windows下安装运行scrapyd
写在前面的话:根据最近的想法是想把scrapy和Django结合起来,调研了下,django-dynamic-scraper框架貌似是可以做到,如是乎按照http://my.oschina.net/rc6688/blog/175508 安装配置,奈何网上资料太少,对照官方文档和example并没有多少头绪。。所以就先放弃了。。scrapyd也可以部署scrapy工程,今天对照着网上资料捯饬了一天,原创 2016-03-22 18:56:31 · 2385 阅读 · 0 评论 -
【python】scrapy初探_抓取糗事百科hot帖子
首先安装好相关环境:我的python2.7+pycharm安装配置scrapy参考 http://cuiqingcai.com/912.html ;讲的很详细,需要说的是,我的下载pip后,使用pip安装依旧有很多问题,所以使用的是easy_install1 新建一个project,在pycharm就能看到这个目录结构在cmd下进入到pycharm的location目录(我的是原创 2016-03-16 18:22:03 · 1727 阅读 · 0 评论 -
【python】东方财富网获取股东减持信息
目标:为了获取东方财富网的上市公司减持信息,查看了下信息页面,属于单页面的信息,不需要使用scrapy,甚至于beautifulsoup也不用使用,只需要查看页面刷新数据时候访问的url即可。比起巨潮,东方财富网更简单的使用了get方法,并且参数使用都在页面加载返回的一个js里写的非常清楚,感觉就是为了方便爬取。。。同时,对参数pagenum都没有做限制,更加方便获取数据。唯一的难点在编解...原创 2018-04-24 09:49:36 · 2098 阅读 · 0 评论