python
麋鹿BRO
有志者,事竞成
展开
-
python爬取豆瓣图片到本地,并用java上传至服务
import requests import urllib import json import os,sys from lxml import etree def main(start): f = open('test1.txt', 'w') #url = 'https://movie.douban.com/top205?start=' + str(start)+'&filt...原创 2019-05-13 19:49:13 · 204 阅读 · 0 评论 -
解决:ImportError: No module named问题
mac电脑解决这个问题很简单: sudo easy_install pip xcode-select --install sudo pip install lxml 前两个是下载工具,最后一条是下载你缺失的包,例如lxml原创 2019-05-13 16:20:01 · 2024 阅读 · 0 评论 -
python-爬取某个用户关注小组发布过的所有动态
本例子只是简单的爬取用户的动态,但是会被豆瓣检测到是机器人,后续可以接入代理ip, 模拟浏览器请求。 代码: import requests import urllib import json import re import os,sys def findUserGroup(id): url = 'https://www.douban.com/group/people/'+id+'/jo...原创 2019-06-10 10:21:13 · 1307 阅读 · 0 评论 -
python-mac开发动态代理ip爬虫
mac目前安装了pyhon3.7.3,本地也保留着python2.7, 学习代理ip,开发工具用idea 1.idea貌似还是使用本地的pyhon2.7 打开 iterm2 看看目前mac的版本 当前mac版本确实是已经切换过来了。 怀疑是idea 配置python 的问题。 我一开始创建的项目是用选择的sdk是python2.7, 后续才安装了python3.7,但是项目使用的还是原来的s...原创 2019-06-11 11:49:41 · 532 阅读 · 0 评论