Jun的博客

目录使用fake-useragent包1.安装fake-usragent2.实现：3.如果你要设置成某个浏览器的UserAgent也是可以的在Scrapy中实现随机UserAgent方法一：直接在程序中添加UserAgent方法二：在middlewares中添加UserAgent方法三：直接在sttings文件里面上设置UserAgent使用fake-usera...

一、把随机的IP列表定义在settings.py文件里面PROXIES=['http://180.119.43.106:4228', 'http://106.56.246.104:4237', 'http://118.79.56.240:4278', 'http://223.215.175.132:4272', 'http://115.221.10.97:2316', 'h...

使用正则表达式import rehtml='<p class="txt" node-type="feed_list_content" nick-name="人民日报">\n 【<a href="http://s.weibo.com/weibo?q=" target="_blank">#13个求职新方向#</a>！有...

执行js得到整个HTMLhtml = driver.execute_script("return document.documentElement.outerHTML")

firefox设置selenium无界面from selenium import webdriveroptions = webdriver.FirefoxOptions()options.set_headless()driver=webdriver.Firefox(firefox_options=options)driver.get("http://www.baidu.com")...