![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
風中塵埃
这个作者很懒,什么都没留下…
展开
-
【scrapy实战】---- 利用get方法爬取动态网站,将数据存入到postgresql中
我以极客公园为例,爬取文章标题,作者名,文章摘要。我们打开chrome中的开发者工具,然后我们重新加载一下网页,你可以看到文章标题需要你点加载更多才能出现,之后你会看到如下显示:我们在General中的Request Method看到是GET,说明这个请求方法是GET方法,之后你会发现并没有post方法,所以用Splash似乎不行。再多点加载更多让文章出现得更多,你会发现Reque...原创 2019-01-03 16:34:56 · 1573 阅读 · 2 评论 -
python去除文本中html标签
例子如下:现将以上文本从列表转换为字符串。代码如下:b = ''.join(a)效果如下:利用正则表达式去除html标签。代码如下:import rec = re.sub('<[^<]+?>', '', b).replace('\n', '').strip()效果如下:总代码如下:import rea = response...原创 2019-01-07 22:08:46 · 15522 阅读 · 2 评论