- 博客(8)
- 收藏
- 关注
RSS订阅原创 利用json实现vivo x20手机评论的爬取
这个比我以前写的那个京东上随意商品的评论简单很多。# -*- coding:utf-8 -*- import urllib import re import json def getHtml(url): page=urllib.urlopen(url) html=page.read().decode("gbk") return html def getItems(html...
2017-12-12 13:45:00
1016
原创 mysql和python的链接
在学习mysql多看一些官方文档，再加上百度其中有很多。再加上mysql的可视化程序有很多，所以我这个小辣鸡就不献丑了...... 这个程序是我在爬完糗事百科之后，就直接拿过来用的。我想把我爬下来的东西，存到数据库中。 # -*- coding: utf-8 -* import re import urllib import urllib2 import MySQLdb import s
2017-12-12 13:35:47
541
原创 利用BS爬取逐浪网多本小说
（更新一下软件，手贱的没有保存原来的文件...）学习BS之后，发现确实比正则有点强...但是在一些时候，他们两个同时运用效果更好。在爬取小说时候就体现出来了，对于BS来说直接调用文字标签就好，别的不说直接上代码。#-*-coding:utf8-*- #!/usr/bin/python from bs4 import BeautifulSoup import urllib import urllib...
2017-12-12 13:16:22
439
原创 python2.7实现杨辉三角
n=10 an=[1]*n # print an for i in range(n): for j in range(i-1,0,-1): print j, an[j]=an[j]+an[j-1] # print an[0:i+1] print an[j], print "\t".join(map(lambda x:str(x
2017-12-12 12:55:25
225
原创 利用JSon在京东上实现随意商品评论的爬取
首先我们应该理解JSON是什么： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。json最大的优势就是独立于编程语言， 易于人阅读和编写，同时也易于机器解析和生成。所以
2017-12-10 19:17:34
2127
原创 利用有界面游览器爬取人民网微博（火狐）
本来今天应该写的是phantomjs+selenium实现无界面的爬取信息，但是对于这个phantomjs有点不入门，所以今天就简单的说一下selenium。 单单对于selenium来说，安装上没有说的，就用pip进行安装就行（pip install selenium）。安装好了之后我们就开始探索抓取的方法了。首先我们来运行一个小的程序： from selenium import webdr
2017-12-10 14:47:15
438
原创 安装Selenium和安装PhantomJS
安装Selenium 在Win10下： 利用pip: pip install -i https://pypi.doubanio.com/simple/ selenium 安装PhantomJS: 什么是PhantomJS： （1）一个基于webkit内核的无头浏览器，即没有UI界面，即它就是一个浏览器，只是其内的点击、翻页等人为相关操作需要程序设计实现。 （2）提供java
2017-12-03 19:02:41
372
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人