排序:
默认
按更新时间
按访问量

Python3下载专题一:下载网易云音乐

一:打开网易云音乐,在搜索框内输入歌曲名称,如"海阔天空" 二:选择第一个,并打开,这时的url = “https://music.163.com/#/song?id=400162138” 记住id:400162138 三:网易提供的外部下载链接:“htt...

2018-11-12 22:35:41

阅读数:12

评论数:0

C++调用Python模块

一:环境VS2015,Python3.7,Windows 64位操作系统 二:环境配置自行百度 三:新建VS控制台工程,并在工程目录下创建PyModule.py文件 四:编写PyModule.py文件,代码如下: def retNum(): return 12345 def r...

2018-11-12 20:31:00

阅读数:6

评论数:0

抖音小视频全集下载

抖音的视频下载又难了一步,分享页面看不到用户的UID了,这可咋整。。。。。 还有去水印的视频,一搜全都需要第三方网站,毫无技术含量,有没有一种可以不借助第三方网站的办法呢? 稍微分析下,原来一切都如此简单,根本就不需要第三方的视频解析网站。 如下图是我刚刚下载的某用户的全部视频,都是无水印的...

2018-10-31 22:49:26

阅读数:30

评论数:0

Python3 Scrapy框架学习五:使用crawl模板爬取豆瓣Top250,并存入MySql、MongoDB

1.新建项目及使用crawl模板 2.页面解析 rules = (Rule(LinkExtractor(allow=r'subject/\d+/',restrict_css = '.hd > a[class = ""]'), ca...

2018-10-21 17:18:11

阅读数:44

评论数:0

Python3爬取猫眼电影榜并将数据存入MySql

直接上代码: #coding=utf-8 import re import time import pymysql import requests from requests.exceptions import RequestException from bs4 import Beautif...

2018-10-19 16:05:52

阅读数:61

评论数:0

Python3 使用pymysql库操作mysql

1.先安装好mysql及pymysql库。 pip install pymysql 2.连接mysql. In [1]: import pymysql In [2]: db = pymysql.connect(host = 'localhost',user = 'root',pass...

2018-10-19 15:36:55

阅读数:34

评论数:0

Python3 黑板客爬虫闯关第三关

黑板客爬虫闯关第二关成功后的页面: http://www.heibanke.com/accounts/login/?next=/lesson/crawler_ex02/ 需要注册,注册后登陆: 来到这个站点: http://www.heibanke.com/lesson/crawler_e...

2018-10-12 00:05:55

阅读数:49

评论数:0

Python3 黑板客爬虫闯关第二关

#coding=utf-8 import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup def getHtml(url,i): data = {&q...

2018-10-11 21:36:41

阅读数:27

评论数:0

Python3 黑板客爬虫闯关第一关

#coding=utf-8 import re import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup def getHtml(url): try: ...

2018-10-11 21:26:16

阅读数:30

评论数:0

Python3 三种办法解决split结果包含空字符串的问题

先看例子: In [1]: s = "abc,,,fefdaf,,,123fad,,fsdfa,,," In [2]: s.split(',') Out[2]: ['abc', '', '', 'fefdaf', '', '', '123fad', '',...

2018-10-10 21:08:43

阅读数:124

评论数:0

Python3 爬取51job的数据存入MongoDB并分析

1.打开51job首页,输入Python,地址选择深圳,得到搜索页面: https://search.51job.com/list/040000,000000,0000,00,9,99,Python,2,1.html?lang=c&stype=&p...

2018-10-07 15:54:13

阅读数:67

评论数:0

Python3 操作MongoDB数据库

以上一篇的数据为例子。 In [1]: import pymongo #引入pymongo模块 In [2]: client = pymongo.MongoClient(host = 'localhost',port = 27017) #进行连接 In [3]: db = cli...

2018-10-07 09:19:03

阅读数:85

评论数:0

Python3 Scrapy框架学习四:爬取的数据存入MongoDB

1. 新建一个scrapy项目: 2.使用PyCharm打开该项目 3.在settings.py文件中添加如下代码: #模拟浏览器,应对反爬 USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (...

2018-10-07 08:03:31

阅读数:46

评论数:0

Python3 Scrapy框架学习三:爬取煎蛋网加密妹子图片(全爬)

以下操作基于Windows平台。 打开CMD命令提示框: 新建一个项目如下: 打开项目里的setting文件,添加如下代码 IMAGES_STORE = './XXOO' #在当前目录下新建一个XXOO文件夹 MAX_PAGE = 40 #定义爬取的总得页数 打开项目里的midd...

2018-10-04 13:43:15

阅读数:65

评论数:0

Python3 Scrapy框架学习二:爬取豆瓣电影Top250

打开项目里的items.py文件,定义如下变量, import scrapy from scrapy import Item,Field class DoubanItem(scrapy.Item): # define the fields for your item here li...

2018-10-04 08:15:43

阅读数:47

评论数:0

Python3 Scrapy框架学习一:爬取猫眼Top100榜

以下操作基于Windows平台。 打开CMD命令提示框: 输入 如下命令: 打开项目里的items.py文件,定义如下变量,用于存储。 class MaoyanItem(scrapy.Item): # define the fields for your item here ...

2018-10-03 10:26:11

阅读数:56

评论数:0

Python3 爬取Ajax加载的网页信息

url:http://www.kfc.com.cn/kfccda/storelist/index.aspx #coding=utf-8 import re import time import requests from requests.exceptions import RequestEx...

2018-10-02 09:33:04

阅读数:47

评论数:0

Python3 Ajax加载的网页爬取

url:今日头条,搜索“街拍”并打开 https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D 浏览器:firefox 分析:打开页面,空白处单击鼠标右键,选择 ”查看元素” 在下面弹出元素框内选择 网络,并在右边的框内选择 XH...

2018-10-02 08:53:34

阅读数:38

评论数:0

Python3 破解煎蛋网妹子图的加密函数,获取图片

今天闲来无事,抓取煎蛋网上的妹子图,之前就知道源代码中找不到img的真实地址,被换成了jandan_load_img(this)这个函数,这个函数定义很复杂,而我又不懂JS,没办法,只有硬着头皮上。 在网上找了各种办法,大概花了3个多小时,还是一无所获,正准备放弃时,看到代码中有调用这个函数: ...

2018-10-01 23:14:32

阅读数:27

评论数:0

Python3 css选择器实战(二):爬取猫眼电影网

#coding=utf-8 import re import time import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup from prettytable ...

2018-10-01 16:07:44

阅读数:54

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭