Stefan的博客

23个Python爬虫开源项目代码今天为大家整理了23个Python爬虫项目。整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心。所有链接指向GitHub，祝大家玩的愉快1、WechatSogou [1]– 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。github地址：https://git...

[各浏览器的User-Agent]http://www.useragentstring.com/pages/useragentstring.php[SSL 证书验证]http://docs.python-requests.org/zh_CN/latest/user/advanced.html#ssl

不知道是不是因为升级导致版本冲突，报错了就得解决1、python -m ensurepippython -m pip install --upgrade pip2、sudo apt install --fix-missing python3-pip3、curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython3 g...

爬取的网站是彼岸图网先打开彼岸图网。点击【尺寸】,然后选择【4K壁纸】,就可以打开这个页面发现一个规律，第n页的url就是http://pic.netbian.com/e/search/result/index.php?page=n-1&searchid=1224右键图片，【查看元素】得到了图片的url: /uploads/allimg/190717/230846-156337...

爬取wanimal图片from urllib.request import urlopen, urlretrievefrom bs4 import BeautifulSoupfrom urllib.error import URLError, HTTPErrorimport requestsclass Wanimal: def __init__(self, page): ...

看了一篇一行 Python 能实现什么丧心病狂的功能的文章，觉得python是真的变态！所以记录一下，温故而知新，方知变态之常态。表白之绝响：print('\n'.join([''.join([('Love'[(x-y) % len('Love')] if ((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3 <= 0else' ') ...

训练数据时候发现跑的很慢，查看一下是使用什么跑的from tensorflow.python.client import device_libprint(device_lib.list_local_devices())　输出：[name: "/device:CPU:0"device_type: "CPU"memory_limit: 268435456locality {}...

修改 model.py 文件use_multiprocessing=False修改为：use_multiprocessing=true

安装准备：1：下载想要的Python版本，本次安装的版本为Python-3.7.0下载网址：https://www.python.org/downloads/source/下载哪个都行！下载好的文件在 home/下载 要把他移动到 /usr/local/python 里面sudo mv Python-3.7.0 /usr/local/python也可以sudo cp -r ho...

爬取妹子图街拍美女模块的所有福利图，并下载保存到本地的文件夹【picture】中打开妹子图街拍美女网址，然后右键图片点击【查看元素】查看图片链接位置网页存在于class属性为lazy的标签中的data-original属性中# 使用的默认编码为utf-8# -*- coding:utf-8 -*-# 导入名为requests的模块import requests# 导入lxml模...

爬取的网页是:千图网背景图片模块查看背景图片的网页代码(右键–>【查看元素】/f12 / fn + f12)url链接【www.58pic.com/newpic/33945157.html】进入了图片的高清大图页面我们可以通过爬取最开始打开的页面的源代码进入对应的背景图片的详情页面.# 使用的utf-8编码# -*- coding:utf-8 -*-# 导入模块imp...

一旦报错：module ‘numpy’ has no attribute ‘version’所需做的就是重新安装，错误原因至今未明！conda install -f numpyconda install -f pandasCtrl + enter 执行单元代码Shift+enter 执行单元代码并自动添加下一代码块在代码顶部添加%config IPCompleter.greedy...

Mac运行python脚本时报错：No module named cv2原因大概是版本不符或者安装时出现遗漏，想法是更新一下！首先使用命令：pip install cv2会报错找不到请求的cv2解决方法：使用命令pip install opencv-python...

报错：ImportError: No module named cv2brew install opencvbrew link opencv测一下吧：进入python输入：>>> import cv2>>> cv2.__version__得到OpenCV的版本即安装ok！...

然后通过pip下载安装numpypip官网python get-pip.pypython -m pip install pippython -m pip install numpypython -m pip install matplotlib或者：brew install numpy --with-python3写几行代码测试一下吧：>>> from nu...

修改yolo3.cfg参数文件（这个文件是用于转换官网下载的.weights文件用的。训练自己的网络并不需要去管他）：打开cfg文件，command（ctrl）+f 搜 yolo ， 总共会搜出3个含有yolo的地方每个地方都要改3处filters：3*(5+len(classes))；classes: len(classes) = 3，这里以三色模式（红、黄、蓝）为例 random：原...

运行时报错：Traceback (most recent call last): File "***.py", line 5, in <module> from PIL import Image ModuleNotFoundError: No module named 'PIL'运行安装pillow命令:pip install pillow如果运行时显示Requ...

通过网络请求分析发现是json传递的信息接口就是“https://v.taobao.com/micromission/req/selectCreatorV3.do”这个接口的翻页参数是currentPage 把这个参数每次更改然后提交就能获得某一页小姐姐们的信息啦淘女郎网站当然有一些反扒策略，如果直接请求接口会返回非法请求，小姐姐是没有的哦！我通过把headers里面的信息在请求的时候逐个...

爬取网站美女照片# -*- coding: utf-8 -*-"""Created on Fri Nov 9 17:07:44 2018@author: 小谢"""import requestsfrom bs4 import BeautifulSoupimport osimport randomimport csvimport timeurls=[]urlls=[]d...

最近在研究图像处理，经过推荐，最终选择了《Machine Learning for OpenCV》 (Michael Beyeler) 原版，也有中文译版《机器学习 使用OpenCV和Python进行智能图像处理》（王磊）译截取书中一部分疑难问题配合自己理解进行记录一、在conda环境中安装opencv1、在终端中，跳转到代码的文件夹中：$ cd ***/opencv-###-##...