- 博客(18)
- 收藏
- 关注
RSS订阅原创 【python】东方财富网获取股东减持信息
目标：为了获取东方财富网的上市公司减持信息，查看了下信息页面，属于单页面的信息，不需要使用scrapy，甚至于beautifulsoup也不用使用，只需要查看页面刷新数据时候访问的url即可。比起巨潮，东方财富网更简单的使用了get方法，并且参数使用都在页面加载返回的一个js里写的非常清楚，感觉就是为了方便爬取。。。同时，对参数pagenum都没有做限制，更加方便获取数据。唯一的难点在编解...
2018-04-24 09:49:36
2173
原创 【python challenge】level2
__author__ = 'user'# -*- coding:utf-8 -*-import requestsimport urllib2import redef enchar(): url = 'http://www.pythonchallenge.com/pc/def/ocr.html' request = urllib2.Request(url) res
2016-07-26 10:21:21
445
原创 【python challenge】level0_level1
最近正在学python，有同学推荐可以玩一下python challenge。玩了几关竟然上瘾了，挺有意思，不过总的来说，有一些解决思路比较接近的好做，但是更多的是对题意的分析还不够，没有什么思路的。level0：url = http://www.pythonchallenge.com/pc/def/0.html2的38次方计算：
2016-07-20 17:00:58
984
原创 【Django】本地csv数据的页面table展示
实现目标：1 pandas：从本地读取csv文件，返回dataFrame数据格式。这里是考虑到未来以后要对数据进行分析结果。2 将DataFrame转化为json数据，返回到前端3 jQuery发送请求，接收json数据并灌到table标签中1 views.pydef ajax_list(req): a = req.GET.get('a') #获取参数
2016-05-31 16:31:50
4415
原创 【Django】数据库操作
1 settings.py的配置之前博文里面以及提及过django数据库连接的配置DATABASES = { 'default': { #'ENGINE': 'django.db.backends.sqlite3', # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), 'ENGINE': 'd
2016-05-24 14:52:15
442
原创 【django】初探
1 环境安装python+Django+mysql安装，这个很简单就不说了，python是2.7.3版本，Django是1.9，mysql是5.5 把Django的bin目录添加到环境变量里面2 项目建立 首先建立一个目录Django，这里存放我们的Django项目 cmd下，运行 Django-admin.py startproject
2016-05-17 15:39:46
557
原创 【python】零碎总结_转
1 产生数据 随机产生（0,1）中的数据： np.random.random(2) # array([ 0.66516976, 0.44746339]) 随机产生一个区间内的指定个数 ：np.random.randint(-10,10,12).reshape(3,4) #array([[-9, 6, -1, 9],[ 7, -1, -4, 3],[ 7, 5,
2016-05-13 09:04:33
304
原创 【python】read_csv+编码问题
想要读取一个excel文件，并且获取某一个分类下的所有的数据1 pandas官方api有read_excel方法,然而我试了总是提示找不到这个方法，so 还是采用了read_csv2 将excel转为csv文件，pd.read_csv(path)可以读取，但是乱码，pd.read_csv(path,encoding='utf-8')会出现只有变更csv文件本身的编码了，用not
2016-04-20 16:37:24
27462
原创 javacsv读写csv
import java.io.IOException;import java.nio.charset.Charset;import java.util.ArrayList;import com.csvreader.CsvReader;import com.csvreader.CsvWriter;public class csvTest { public static ArrayL
2016-04-18 15:40:24
374
原创 【python】python for data analysis环境安装
书上说的直接EPDFree，但是得卸载之前的python，所以我就零散安装了。。环境windows+python2.71 安装numpy,scipy,matpoltlibhttp://blog.csdn.net/zhangyuehuan/article/details/391347472 安装ipythonhttp://blog.csdn.net/hmy1106/artic
2016-04-11 11:30:56
1035
原创 【scrapy】模拟登陆知乎
这个网上有个通用的教程，然而为这个教程已经花费了太多时间进行调试，和知乎上的朋友交流，很多人也是这个地方遇到了问题，最后的结果。。是放弃了crawlspider。。先贴下 这个链接。。。http://ju.outofmemory.cn/entry/105646 谨慎。。针对上面这个教程，遇到的几点问题：问题1：知乎的登陆url不再是/login了，根据email和phonenum分
2016-03-30 08:23:32
2185
3
原创 【scrapyd】windows下安装运行scrapyd
写在前面的话：根据最近的想法是想把scrapy和Django结合起来，调研了下，django-dynamic-scraper框架貌似是可以做到，如是乎按照http://my.oschina.net/rc6688/blog/175508 安装配置，奈何网上资料太少，对照官方文档和example并没有多少头绪。。所以就先放弃了。。scrapyd也可以部署scrapy工程，今天对照着网上资料捯饬了一天，
2016-03-22 18:56:31
2405
原创 【python】scrapy初探_抓取糗事百科hot帖子
首先安装好相关环境：我的python2.7+pycharm安装配置scrapy参考 http://cuiqingcai.com/912.html ；讲的很详细，需要说的是，我的下载pip后，使用pip安装依旧有很多问题，所以使用的是easy_install1 新建一个project，在pycharm就能看到这个目录结构在cmd下进入到pycharm的location目录(我的是
2016-03-16 18:22:03
1740
原创 多例模式
多例模式：test1和test3是一个实例import java.util.HashMap;public class testInstance { private String s; //private static testInstance instance; private static HashMap instances = new HashMap(19); pri
2014-07-04 10:44:37
514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人