2024年最全Python 爬取公众号的历史文章_python 获取公众号历史文章内容，C C++多进程从头讲到尾

本文链接：https://blog.csdn.net/2401_84975883/article/details/138907238

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

@Author : LYG

@Time : 2019/2/13 11:16

@Name : CrawlWechat.py

from bs4 import BeautifulSoup
from urllib2 import urlopen
from selenium import webdriver

def get_url():
‘’’
通过搜狗搜索，获取指定公众号的最新链接
url ：搜索链接
:return:
new_url : 指定公众号的最新链接
‘’’
# 修改query的参数即可（支持中文修改），也可以直接访问域名带data就好
# type=1 指明是搜索公众号，type=0 指明是搜索文章
url = “https://weixin.sogou.com/weixin?type=1&s_from=input&query=Linux公社&ie=utf8&sug=n&sug_type=”
page = urlopen(url)
html = page.read()
soup = BeautifulSoup(html,‘lxml’)
node = soup.select(‘a[uigs=“account_name_0”]’)
new_url = node[0][‘href’]
return new_url

def get_content():
‘’’
拿到公众号里最新十篇文章的标题与URL
:return:
‘’’
url = get_url()
# phantomjs.exe 的绝对路径
driver= webdriver.PhantomJS(executable_path=r"D:\python\venv\Lib\site-packages\selenium\webdriver\phantomjs\phantomjs-2.1.1-windows\phantomjs-2.1.1-windows\bin\phantomjs.exe")

driver.get(url)
html = driver.page_source

result_url = []
result_title = []

soup = BeautifulSoup(html, 'lxml')
titles = soup.select("h4.weui_media_title")
for title in titles:
    result_title.append(title.text)
 # & 符号转义   & = &amp;
    result_url.append("https://mp.weixin.qq.com"+title['hrefs'].replace('&amp;','&'))
with open('a.txt','w') as f:
    for i in range(len(result_url)):
        f.write("%s %s"%(result_title[i].encode('utf-8'),result_url[i].encode('utf-8')))
        f.write('\n')
driver.quit()