python爬取文章_[Python]爬取微信公众号文章

[Python] 纯文本查看 复制代码import sys

reload(sys)

sys.setdefaultencoding('utf-8')

from urllib import quote

from pyquery import PyQuery as pq

import requests

import time

import re

import os

from selenium.webdriver import Chrome

from selenium.webdriver.firefox.options import Options

from selenium.webdriver.support.wait import WebDriverWait

# 搜索入口地址,以公众为关键字搜索该公众号

def get_search_result_by_keywords(sogou_search_url):

# 爬虫伪装头部设置

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}

# 设置操作超时时长

timeout = 5

# 爬虫模拟在一个request.session中完成

s = requests.Session()

log(u'搜索地址为:%s' % sogou_search_url)

return s.get(sogou_search_url, headers=headers, timeout=timeout).content

# 获得公众号主页地址

def get_wx_url_by_sougou_search_html(sougou_search_html):

doc = pq(sougou_search_html)

return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

# 使用webdriver 加载公众号主页内容,主要是js渲染的部分

def get_selenium_js_html(url):

options = Options()

options.add_argument('-headless') # 无头参数

driver = Chrome(executable_path='chromedriver', chrome_options=options)

wait = WebDriverWait(driver, timeout=10)

driver.get(url)

time.sleep(3)

# 执行js得到整个页面内容

html = driver.execute_script("return document.documentElement.outerHTML")

driver.close()

return html

# 获取公众号文章内容

def parse_wx_articles_by_html(selenium_html):

doc = pq(selenium_html)

return doc('div[class="weui_media_box appmsg"]')

# 将获取到的文章转换为字典

def switch_arctiles_to_list(articles):

# 定义存贮变量

articles_list = []

i = 1

# 遍历找到的文章,解析里面的内容

if articles:

for article in articles.items():

log(u'开始整合(%d/%d)' % (i, len(articles)))

# 处理单个文章

articles_list.append(parse_one_article(article))

i += 1

return articles_list

# 解析单篇文章

def parse_one_article(article):

article_dict = {}

# 获取标题

title = article('h4[class="weui_media_title"]').text().strip()

###log(u'标题是: %s' % title)

# 获取标题对应的地址

url = 'http://mp.weixin.qq.com' + article('h4[class="weui_media_title"]').attr('hrefs')

log(u'地址为: %s' % url)

# 获取概要内容

summary = article('.weui_media_desc').text()

log(u'文章简述: %s' % summary)

# 获取文章发表时间

date = article('.weui_media_extra_info').text().strip()

log(u'发表时间为: %s' % date)

# 获取封面图片

pic = parse_cover_pic(article)

# 返回字典数据

return {

'title': title,

'url': url,

'summary': summary,

'date': date,

'pic': pic

}

# 查找封面图片,获取封面图片地址

def parse_cover_pic(article):

pic = article('.weui_media_hd').attr('style')

p = re.compile(r'background-image:url\((.*?)\)')

rs = p.findall(pic)

log(u'封面图片是:%s ' % rs[0] if len(rs) > 0 else '')

return rs[0] if len(rs) > 0 else ''

# 自定义log函数,主要是加上时间

def log(msg):

print u'%s: %s' % (time.strftime('%Y-%m-%d_%H-%M-%S'), msg)

# 验证函数

def need_verify(selenium_html):

' 有时候对方会封锁ip,这里做一下判断,检测html中是否包含id=verify_change的标签,有的话,代表被重定向了,提醒过一阵子重试 '

return pq(selenium_html)('#verify_change').text() != ''

# 创建公众号命名的文件夹

def create_dir(keywords):

if not os.path.exists(keywords):

os.makedirs(keywords)

# 爬虫主函数

def run(keywords):

' 爬虫入口函数 '

# Step 0 : 创建公众号命名的文件夹

create_dir(keywords)

# 搜狐微信搜索链接入口

sogou_search_url = 'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_=' % quote(

keywords)

# Step 1:GET请求到搜狗微信引擎,以微信公众号英文名称作为查询关键字

log(u'开始获取,微信公众号英文名为:%s' % keywords)

log(u'开始调用sougou搜索引擎')

sougou_search_html = get_search_result_by_keywords(sogou_search_url)

# Step 2:从搜索结果页中解析出公众号主页链接

log(u'获取sougou_search_html成功,开始抓取公众号对应的主页wx_url')

wx_url = get_wx_url_by_sougou_search_html(sougou_search_html)

log(u'获取wx_url成功,%s' % wx_url)

# Step 3:Selenium+PhantomJs获取js异步加载渲染后的html

log(u'开始调用selenium渲染html')

selenium_html = get_selenium_js_html(wx_url)

# Step 4: 检测目标网站是否进行了封锁

if need_verify(selenium_html):

log(u'爬虫被目标网站封锁,请稍后再试')

else:

# Step 5: 使用PyQuery,从Step 3获取的html中解析出公众号文章列表的数据

log(u'调用selenium渲染html完成,开始解析公众号文章')

articles = parse_wx_articles_by_html(selenium_html)

log(u'抓取到微信文章%d篇' % len(articles))

# Step 6: 把微信文章数据封装成字典的list

log(u'开始整合微信文章数据为字典')

articles_list = switch_arctiles_to_list(articles)

return [content['title'] for content in articles_list]

```

main入口函数:

```python

# coding: utf8

import spider_weixun_by_sogou

if __name__ == '__main__':

gongzhonghao = raw_input(u'input weixin gongzhonghao:')

if not gongzhonghao:

gongzhonghao = 'spider'

text = " ".join(spider_weixun_by_sogou.run(gongzhonghao))

print text

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提数据并存储,以便后续分析或展示。虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓的场景。 虫的工作流程包括以下几个关键步骤: URL收集: 虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获。 请求网页: 虫使用HTTP或其他协议向目标URL发起请求,获网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 虫对获的HTML进行解析,提有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助虫定位和提目标数据,如文本、图片、链接等。 数据存储: 虫将提的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反虫机制,虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反虫应对: 由于虫的存在,一些网站采了反虫措施,如验证码、IP封锁等。虫工程师需要设计相应的策略来应对这些挑战。 虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
Python可以用于微信公众号的文章。有几种方式可以实现这一目标,其中一种方式是通过登录微信公众号平台,在里面搜索要公众号,然后进行抓包。另外一种方式是使用安卓模拟器进行抓包。还可以使用搜狗的微信模块来获数据。 在使用第一种方式时,首先需要拥有一个微信公众号的账号。然后,通过工具如pycharm和fiddler等,登录微信公众号平台,进入创作管理,选择图文素材,然后创建或编辑文章。最后,通过添加引用和查找公众文章等步骤,进行数据的和收集。 在实现这些步骤之前,你需要了解微信公众号平台的主要功能和界面布局。主面板可以划分为七大块,每个块都有不同的功能。在后续的操作中,你可以使用Python代码来模拟微信请求,并实现数据的和分析。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [欢度国庆⭐️共享虫之美⭐️基于 Python 实现微信公众虫(Python无所不能)](https://blog.csdn.net/xiejiachao/article/details/120573509)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [【虫】python微信公众号](https://blog.csdn.net/qq_36269293/article/details/109244944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值