charlesqinjiaqi的博客

原创 Python爬取芜湖-政务新闻

最近，接到单位给的任务，要爬取芜湖市政务新闻网的所有新闻，并且是要从一个新闻中截取到一段最长的文字。 明确需求——规划思路——编写代码——后期优化 1、明确需求 爬取的是芜湖新闻网的政务新闻，具体图片如下： 很明显的能发现，URL的末尾是页数，由此爬取全部新闻不在话下。 本来爬了100多条数据的时候，出现了403禁止访问，以为要加代理池或者cookies池，后来发现只要在循环的时候设置...