关注
分享
python作为一种脚本语言，非常适用于没有编程基础的人学习和实践，而爬虫，则是学习python的绝佳实践项目，若能从网站上爬取大量数据，并分析和处理，会让人有持续成就感而持续不断的学习和前进。
Li_GaoGao
这个作者很懒，什么都没留下…
展开
-
python 处理文件的时候 程序运行过程中被 killed
小量数据测试时没问题，数据量到几百万时killed怀疑内存使用问题：代码for line in file.readlines(): 改成：for line in open("file","r")下面这种不用一次性把数据读到内存。...原创 2019-10-15 18:57:32 · 6713 阅读 · 1 评论 -
为什么学习python及爬虫
大部分学校出来的人都会一点matlab，无可否认，matlab用的好的人几乎无所不能。但是安装庞大的matlab往往在第一步就将很多入门学习者拒之门外，但是python，简单的安装和类似于matlab的神语言，可以很大程度上让matlab没学好的人在python上弥补不足或者相互促进。如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，...原创 2018-04-01 12:35:08 · 10699 阅读 · 1 评论 -
Python入门（基础）踩过的坑
AttributeError: ‘dict’ object has no attribute ‘iteritems’ 从python3.5开始字典不在有这个属性，iteritems变为items。原创 2017-11-26 22:36:34 · 499 阅读 · 0 评论 -
python画图初体验[matplotlib/pylab]
在学习机器学习SVM算法的时候第一次体会到需要将算好的数据展现出看，还是离不开画图的工具，幸好python和画图方法和matlab极其相似，甚至名字都差不多。其中将训练集数据化成散点图，将训练好的超平面用线画出来等等基本的画图方法，也在SVM代码里展现了，然后顺便我就多去看了下，巩固了下画图方法。 注意到存在pylab和pylpot的区别，使用方法：import pylab as plimpor原创 2017-12-03 13:53:14 · 949 阅读 · 0 评论 -
python入门opencv踩过的坑
在用python学习opencv的基本操作时候，dst = cv2.addWeighted(src1, alpha, src2, beta, 0.0)用这个函数总是报错The operation is neither 'array op array' (where arrays have the same size and the same number of channels), nor 'arr原创 2017-12-08 11:28:04 · 6559 阅读 · 2 评论 -
Python第一课——访问网址
python爬虫爬虫已经存在很长时间了，是学习编程入门非常好的练手项目，因为用python做爬虫简单靠谱。而且是最近火的不能再火的python在AI的应用异军突起，所以选择用python学习爬虫绝对意义非凡。爬虫，顾名思义就是一只在互联网上爬来爬去的虫，并且爬过的地方都会将此处的信息记录下来。在信息爆炸的时代，能有效获取数据或是其他信息，是未来世界有利的生存武器。数据分析在金融和A...原创 2018-02-25 22:43:23 · 1207 阅读 · 0 评论 -
python基础pandas得drop()用法
做数据处理得时候用到了pandas,体验不错，记录如下：import pandas as pdimport numpy as np直接可以用pandas生成随机数组df = pd.DataFrame(np.random.randn(5,3),index = list('abcde'),columns = ['one','two','three'])假设其中存在空数：...原创 2018-06-02 11:24:42 · 94060 阅读 · 0 评论 -
python之np.random.seed(0)的用法
之前一直在代码里看到seed(0)，我知道写了这个可以产生相同的随机数，但是事实上，我测试的时候：np.random.seed(0)x = np.random.randn(2,2)y = np.random.randn(2,2)print(x)print(y)输出： [[ 1.76405235 0.40015721] [ 0.97873798 2.24089...原创 2018-07-05 23:18:31 · 8683 阅读 · 0 评论 -
scipy库初体验
在代码里看到了如下代码：scipy.stats.norm.rvs（）第一次用scipy故此记录一下，scipy里面的stats是一个很好的统计库 Scipy的stats模块包含了多种概率分布的随机变量，随机变量分为连续的和离散的两种。 所有的连续随机变量都是rv_continuous的派生类的对象，而所有的离散随机变量都是 rv_discrete的派生类的对象。...原创 2018-07-05 23:51:19 · 259 阅读 · 0 评论 -
卡尔曼滤波——从推导到应用（上）
第一次听说卡尔曼滤波已经是2017年了，那时候我25岁，卡尔曼却将近60岁了。尽管距离算法得诞生已经半个多世纪了，但是却历久弥新，永不过时。它仍然是当前使用最广泛的数据融合算法。kalman核心就是两个过程，五个公式： 一、预测过程 二、更新过程 预测可以理解成根据公式进行计算得到的一个值，这样就比然会存在一个协方差误差。Q 更新过程就是一个纠正过程，用另一个观测值来纠正预测值...原创 2018-07-13 11:40:59 · 6410 阅读 · 0 评论 -
分析python代码中几处难点
最近在代码中见到了 诸如此类的句子，颇感疑惑，见识少，没办法，遂解之。@staticmethod在类中若对方法用上述装饰器修饰，则表明这个方法在其他类中调用不需要实例化。 即静态方法，类似于c#,java里的 static 方法。 __metaclass__ = abc.ABCMeta@abstractmethod上述是两个语句是一起出现的，是声明抽象基类最简单的方式。 ...原创 2018-03-21 00:12:27 · 1164 阅读 · 0 评论 -
学习 Python requests包
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。而初步学习爬虫，pyt...原创 2018-04-01 15:54:25 · 630 阅读 · 0 评论 -
python爬虫之爬取51job上python的岗位信息
用的都是函数，面向过程一步一步来。代码很好理解，但是维护起来成本很高，不容易扩展。 下一步改造成用类来实现的爬虫。先放结果图： 爬取网页用的requests库 相关链接：requests库的一些知识点 解析用的xpath，51job的解析很简单，xpath复制一下就基本出来了。 存储用的excel 相关链接：python读取excel的知识点先看代码：#coding:utf...原创 2018-04-01 17:27:48 · 10431 阅读 · 1 评论 -
python读写excel
学习爬虫，最主要的目的是想获得数据并做一些分析得到一些预测或是结论。而保存从网站上爬取的数据就是其中重要的一环。以后肯定会用数据库来保存和处理数据，目前只是学习了python读取excel的操作，记录在此，以供参考：模拟创建了两个数据，rowData和rowData2，将之存在一个excel文件的两个sheet里，需要用到的库有xlwt和xlrd，很明显一个是读excel,另一个就是写。 ...原创 2018-04-01 09:53:48 · 1022 阅读 · 0 评论 -
爬虫初体验之模拟登陆
最近网上看到别人可以用python模拟浏览器操作，学之，主要用到的模块是selenium，主要作用就是浏览器驱动，可以进行打开浏览器，点击浏览器页面按钮，输入账号密码等操作。下面是模拟登陆知乎的代码：需要对xpath有一定的了解，说白了其实就是网页上的路径。但短时间找对路径需要一定时间积累。 用的python2.7另外需要提前把Firefox的驱动路径放在系统path下，可以百度下载...原创 2018-03-26 08:39:13 · 236 阅读 · 0 评论