数据采集（二）：腾讯新闻网，新闻标题和内容爬取

最新推荐文章于 2024-02-29 10:38:03 发布
最新推荐文章于 2024-02-29 10:38:03 发布
阅读量8.7k 收藏 28
点赞数 5
分类专栏： 数据处理与机器学习 文章标签： 数据挖掘 新闻 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czl389/article/details/75462989
版权
比如我对“科技”版块感兴趣，科技版块的链接是“http://tech.qq.com/” 。 首先使用requests请求网页内容。status_code为200表示请求成功。headers是将请求伪装成浏览器行为。timeout设置不能太小，考虑到人的访问手速。 
import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
}
url="http://tech.qq.com/"
result=requests.get(url,headers=headers,timeout=2)
print result.status_code
200 使用BeautifulSoup库从网页内容中解析出标题和内容 
from bs4 import BeautifulSoup

content=result.content
soup=BeautifulSoup(content,fromEncoding=result.encoding)
解析标题，和标题上的超链接 
import re

def has_no_string(tag):
    return tag.name=='a' and tag.string!=None

samples=soup.find('div','list first').find_all(has_no_string,target='_blank',href=re.compile('tech\.qq\.com'))

news_titles = []
news_urls = []

for sample in samples:
    title=sample.text.strip()
    url=sample['href']

    news_titles.append(title)
    news_urls.append(url)

news_dic={'title':news_titles,'url':news_urls}
引入pandas库，将新闻标题和超链接数据导入到dataframe，便于观察和分析处理 
import pandas as pd

news_df=pd.DataFrame(news_dic)
news_df
titleurl
0董明珠：我可以不要互联网 但它离不开我http://tech.qq.com/a/20170719/046210.htm
1可卸载新规实施半月 手机预装软件仍难卸载http://tech.qq.com/a/20170719/045379.htm
2中兴通讯上半年营收为540亿元 同比增长13%http://tech.qq.com/a/20170719/045625.htm
3NASA研究证实无人机噪声更烦人 送货商得想办法解决http://tech.qq.com/a/20170719/045552.htm
4一加手机在美摊上事了！拨911会重启http://tech.qq.com/a/20170719/036951.htm
5乐视大厦楼底“搭帐篷”，供应商讨债陷入持久战http://tech.qq.com/a/20170719/037848.htm
6瑞银预计iPhone 8起售900美元 苹果明年收益将超预期http://tech.qq.com/a/20170719/003212.htm
7SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了http://tech.qq.com/a/20170719/045356.htm
8终于学会英语了 三星语音助手Bixby正式登陆美国市场http://tech.qq.com/a/20170719/045876.htm
9小米手环做到全球第一 黄汪却说华米刚刚小学毕业http://tech.qq.com/a/20170719/020157.htm
10这家广告技术公司曾估值20亿美元 如今1.25亿贱卖http://tech.qq.com/a/20170719/043987.htm
11河狸家营利悖论：抽成过高致服务受损手艺人离开http://tech.qq.com/a/20170719/043620.htm
12谷歌推出自家新闻推送服务Google Feedhttp://tech.qq.com/a/20170719/046100.htm
13IBM连续21季度营收下滑为何仍能实现盈利？http://tech.qq.com/a/20170719/043225.htm
14海信侧面回应夏普：从不惹事，但绝不怕事！http://tech.qq.com/a/20170719/041247.htm
15Facebook十月开测付费新闻服务 阅读10篇之内免费http://tech.qq.com/a/20170719/042869.htm
16乐视金融被曝逾期不还钱，客服称是“第三方通道的问题”http://tech.qq.com/a/20170719/036864.htm
17Snap开始在亚马逊上开卖智能眼镜Spectacleshttp://tech.qq.com/a/20170719/042047.htm
18美军用激光对付无人机 躲无可躲 击落一架成本仅1美元http://tech.qq.com/a/20170719/041604.htm
19IC Insights：今年全球存储芯片销售将创历史新高http://tech.qq.com/a/20170719/042434.htm
20“徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期http://tech.qq.com/a/20170719/025913.htm
21花点时间获B轮融资 未来布局国际化http://tech.qq.com/a/20170719/041038.htm
22工信部已提交申报 虚拟运营商正式商用牌照即将发放http://tech.qq.com/a/20170719/035626.htm
23亚马逊会员日大获成功 但跟“双十一”比就差远了http://tech.qq.com/a/20170719/040199.htm
24“傻白甜”CEO是互联网创业界的土特产http://tech.qq.com/a/20170719/035414.htm
25谷歌助手尴尬了！登陆iOS两个月后热度全消http://tech.qq.com/a/20170719/037409.htm
26沃尔玛启用全新物流交付中心 欲进一步助力电商业务http://tech.qq.com/a/20170719/039640.htm

对上面步骤得到的每个url，再次发起请求，得到的网页包含新闻内容，使用BeautifulSoup从中解析出新闻内容文本

news_texts = []

for url in news_urls:
    result1=requests.get(url,headers=headers,timeout=2)
    content1=result1.content
    soup1=BeautifulSoup(content1,fromEncoding=result1.encoding)
    main_article=soup1.find('div',class_="Cnt-Main-Article-QQ")
    text_tag_list=main_article.find_all('p',class_='text')

    news_text=''
    for text_tag in text_tag_list:
        string=text_tag.string
        if string!=None and string!='DUMMY_TAG':
            news_text+=(string+'\n')
    news_texts.append(news_text)
text_dic={'content':news_texts}
同样将新闻内容存入dataframe 
text_df=pd.DataFrame(text_dic)
text_df
content
0新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”？如何打造更为优化的营商环境？…
1本报讯 (记者孙喜保)自7月1日起，工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2腾讯科技讯 7月19日，中兴通讯上半年业绩快报显示，今年上半年中兴通讯营收为540.1亿元，…
3Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评，但是它现在似乎…
5两天前乐视股东大会，贾跃亭没回来。\n供应商在门口咚咚敲门，喊着还钱，乐视控股方面赵磊跑去跟…
6瑞银集团分析师史蒂芬-米卢诺维奇（Steven Milunovich）在研报中指出，华尔街当…
7SolarCity的共同创始人彼得-里夫（左）\n腾讯科技讯 7月19日，SolarCity…
8The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9文/腾讯科技 王潘\n不过，四年前华米准备做手环时，华米科技CEO黄汪完全没有想到能够挑战苹…
10BI中文站 7月19日报道\n本周二，广告技术公司Rocket Fuel突然被竞争对手Siz…
11O2O模式曾掀起资本狂潮，但在经历洗牌期之后，“存活”的平台将如何找到盈利方式成为关键。北京…
12BI中文站 7月19日报道\n本周三，这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13腾讯科技讯 7月19日，IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14环球科技综合报道 7月17日，台湾富士康旗下的夏普官网发布消息称：已以海信在美销售智能电视专…
15内容付费的时代正在到来\n本周二，Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16中新经纬客户端7月19日电（罗琨）乐视金融也摊上事了！\n家住北京的张女士爆料称，其在乐视金…
17Mashable中文站 7月19日报道\n此前，你只能在有限的几个地方购买到Spectacl…
18Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器，而…
19腾讯科技讯 据外电报道，市场调研公司IC Insights周三预计，全球DRAM内存芯片和N…
20
21腾讯科技讯（孙宏超）7月19日消息，今天下午鲜花电商花点时间完成B轮融资，由东方富海、经纬创…
22中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot，这是一款入门级智能…
242011年，我打算离开广告圈，正在四处找工作。\n后来我跟一个年轻人建立了联系，他刚刚从哥伦…
25iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份，Goo…
26【腾讯科技编者按】 据国外媒体报道称，沃尔玛在当地时间周二表示，公司已在佛罗里达达文波特市正…

将两个dataframe合并

news_df_merge=pd.merge(news_df,text_df,right_index=True, left_index=True)
news_df_merge
titleurlcontent
0董明珠：我可以不要互联网 但它离不开我http://tech.qq.com/a/20170719/046210.htm新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”？如何打造更为优化的营商环境？…
1可卸载新规实施半月 手机预装软件仍难卸载http://tech.qq.com/a/20170719/045379.htm本报讯 (记者孙喜保)自7月1日起，工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2中兴通讯上半年营收为540亿元 同比增长13%http://tech.qq.com/a/20170719/045625.htm腾讯科技讯 7月19日，中兴通讯上半年业绩快报显示，今年上半年中兴通讯营收为540.1亿元，…
3NASA研究证实无人机噪声更烦人 送货商得想办法解决http://tech.qq.com/a/20170719/045552.htmRecode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4一加手机在美摊上事了！拨911会重启http://tech.qq.com/a/20170719/036951.htmMashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评，但是它现在似乎…
5乐视大厦楼底“搭帐篷”，供应商讨债陷入持久战http://tech.qq.com/a/20170719/037848.htm两天前乐视股东大会，贾跃亭没回来。\n供应商在门口咚咚敲门，喊着还钱，乐视控股方面赵磊跑去跟…
6瑞银预计iPhone 8起售900美元 苹果明年收益将超预期http://tech.qq.com/a/20170719/003212.htm瑞银集团分析师史蒂芬-米卢诺维奇（Steven Milunovich）在研报中指出，华尔街当…
7SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了http://tech.qq.com/a/20170719/045356.htmSolarCity的共同创始人彼得-里夫（左）\n腾讯科技讯 7月19日，SolarCity…
8终于学会英语了 三星语音助手Bixby正式登陆美国市场http://tech.qq.com/a/20170719/045876.htmThe Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9小米手环做到全球第一 黄汪却说华米刚刚小学毕业http://tech.qq.com/a/20170719/020157.htm文/腾讯科技 王潘\n不过，四年前华米准备做手环时，华米科技CEO黄汪完全没有想到能够挑战苹…
10这家广告技术公司曾估值20亿美元 如今1.25亿贱卖http://tech.qq.com/a/20170719/043987.htmBI中文站 7月19日报道\n本周二，广告技术公司Rocket Fuel突然被竞争对手Siz…
11河狸家营利悖论：抽成过高致服务受损手艺人离开http://tech.qq.com/a/20170719/043620.htmO2O模式曾掀起资本狂潮，但在经历洗牌期之后，“存活”的平台将如何找到盈利方式成为关键。北京…
12谷歌推出自家新闻推送服务Google Feedhttp://tech.qq.com/a/20170719/046100.htmBI中文站 7月19日报道\n本周三，这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13IBM连续21季度营收下滑为何仍能实现盈利？http://tech.qq.com/a/20170719/043225.htm腾讯科技讯 7月19日，IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14海信侧面回应夏普：从不惹事，但绝不怕事！http://tech.qq.com/a/20170719/041247.htm环球科技综合报道 7月17日，台湾富士康旗下的夏普官网发布消息称：已以海信在美销售智能电视专…
15Facebook十月开测付费新闻服务 阅读10篇之内免费http://tech.qq.com/a/20170719/042869.htm内容付费的时代正在到来\n本周二，Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16乐视金融被曝逾期不还钱，客服称是“第三方通道的问题”http://tech.qq.com/a/20170719/036864.htm中新经纬客户端7月19日电（罗琨）乐视金融也摊上事了！\n家住北京的张女士爆料称，其在乐视金…
17Snap开始在亚马逊上开卖智能眼镜Spectacleshttp://tech.qq.com/a/20170719/042047.htmMashable中文站 7月19日报道\n此前，你只能在有限的几个地方购买到Spectacl…
18美军用激光对付无人机 躲无可躲 击落一架成本仅1美元http://tech.qq.com/a/20170719/041604.htmMashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器，而…
19IC Insights：今年全球存储芯片销售将创历史新高http://tech.qq.com/a/20170719/042434.htm腾讯科技讯 据外电报道，市场调研公司IC Insights周三预计，全球DRAM内存芯片和N…
20“徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期http://tech.qq.com/a/20170719/025913.htm
21花点时间获B轮融资 未来布局国际化http://tech.qq.com/a/20170719/041038.htm腾讯科技讯（孙宏超）7月19日消息，今天下午鲜花电商花点时间完成B轮融资，由东方富海、经纬创…
22工信部已提交申报 虚拟运营商正式商用牌照即将发放http://tech.qq.com/a/20170719/035626.htm中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23亚马逊会员日大获成功 但跟“双十一”比就差远了http://tech.qq.com/a/20170719/040199.htmBI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot，这是一款入门级智能…
24“傻白甜”CEO是互联网创业界的土特产http://tech.qq.com/a/20170719/035414.htm2011年，我打算离开广告圈，正在四处找工作。\n后来我跟一个年轻人建立了联系，他刚刚从哥伦…
25谷歌助手尴尬了！登陆iOS两个月后热度全消http://tech.qq.com/a/20170719/037409.htmiOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份，Goo…
26沃尔玛启用全新物流交付中心 欲进一步助力电商业务http://tech.qq.com/a/20170719/039640.htm【腾讯科技编者按】 据国外媒体报道称，沃尔玛在当地时间周二表示，公司已在佛罗里达达文波特市正…

删除“url”列

news_df_final=news_df_merge.drop('url',axis=1)
news_df_final
titlecontent
0董明珠：我可以不要互联网 但它离不开我新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”？如何打造更为优化的营商环境？…
1可卸载新规实施半月 手机预装软件仍难卸载本报讯 (记者孙喜保)自7月1日起，工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2中兴通讯上半年营收为540亿元 同比增长13%腾讯科技讯 7月19日，中兴通讯上半年业绩快报显示，今年上半年中兴通讯营收为540.1亿元，…
3NASA研究证实无人机噪声更烦人 送货商得想办法解决Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4一加手机在美摊上事了！拨911会重启Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评，但是它现在似乎…
5乐视大厦楼底“搭帐篷”，供应商讨债陷入持久战两天前乐视股东大会，贾跃亭没回来。\n供应商在门口咚咚敲门，喊着还钱，乐视控股方面赵磊跑去跟…
6瑞银预计iPhone 8起售900美元 苹果明年收益将超预期瑞银集团分析师史蒂芬-米卢诺维奇（Steven Milunovich）在研报中指出，华尔街当…
7SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了SolarCity的共同创始人彼得-里夫（左）\n腾讯科技讯 7月19日，SolarCity…
8终于学会英语了 三星语音助手Bixby正式登陆美国市场The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9小米手环做到全球第一 黄汪却说华米刚刚小学毕业文/腾讯科技 王潘\n不过，四年前华米准备做手环时，华米科技CEO黄汪完全没有想到能够挑战苹…
10这家广告技术公司曾估值20亿美元 如今1.25亿贱卖BI中文站 7月19日报道\n本周二，广告技术公司Rocket Fuel突然被竞争对手Siz…
11河狸家营利悖论：抽成过高致服务受损手艺人离开O2O模式曾掀起资本狂潮，但在经历洗牌期之后，“存活”的平台将如何找到盈利方式成为关键。北京…
12谷歌推出自家新闻推送服务Google FeedBI中文站 7月19日报道\n本周三，这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13IBM连续21季度营收下滑为何仍能实现盈利？腾讯科技讯 7月19日，IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14海信侧面回应夏普：从不惹事，但绝不怕事！环球科技综合报道 7月17日，台湾富士康旗下的夏普官网发布消息称：已以海信在美销售智能电视专…
15Facebook十月开测付费新闻服务 阅读10篇之内免费内容付费的时代正在到来\n本周二，Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16乐视金融被曝逾期不还钱，客服称是“第三方通道的问题”中新经纬客户端7月19日电（罗琨）乐视金融也摊上事了！\n家住北京的张女士爆料称，其在乐视金…
17Snap开始在亚马逊上开卖智能眼镜SpectaclesMashable中文站 7月19日报道\n此前，你只能在有限的几个地方购买到Spectacl…
18美军用激光对付无人机 躲无可躲 击落一架成本仅1美元Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器，而…
19IC Insights：今年全球存储芯片销售将创历史新高腾讯科技讯 据外电报道，市场调研公司IC Insights周三预计，全球DRAM内存芯片和N…
20“徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期
21花点时间获B轮融资 未来布局国际化腾讯科技讯（孙宏超）7月19日消息，今天下午鲜花电商花点时间完成B轮融资，由东方富海、经纬创…
22工信部已提交申报 虚拟运营商正式商用牌照即将发放中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23亚马逊会员日大获成功 但跟“双十一”比就差远了BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot，这是一款入门级智能…
24“傻白甜”CEO是互联网创业界的土特产2011年，我打算离开广告圈，正在四处找工作。\n后来我跟一个年轻人建立了联系，他刚刚从哥伦…
25谷歌助手尴尬了！登陆iOS两个月后热度全消iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份，Goo…
26沃尔玛启用全新物流交付中心 欲进一步助力电商业务【腾讯科技编者按】 据国外媒体报道称，沃尔玛在当地时间周二表示，公司已在佛罗里达达文波特市正…

发现处于行序号为20的新闻文本数据是空的，我检查了网页的源码，发现只有这条新闻的html的tag与众不同。决定删除这条新闻数据。
具体的做法是检查dataframe的content是否为空字符串，如果是，则删除该项。

length=len(news_df_final)
for index in range(length):
    if news_df_final['content'][index]=='':
        news_data=news_df_final.drop(index)
news_data
titlecontent
0董明珠：我可以不要互联网 但它离不开我新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”？如何打造更为优化的营商环境？…
1可卸载新规实施半月 手机预装软件仍难卸载本报讯 (记者孙喜保)自7月1日起，工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2中兴通讯上半年营收为540亿元 同比增长13%腾讯科技讯 7月19日，中兴通讯上半年业绩快报显示，今年上半年中兴通讯营收为540.1亿元，…
3NASA研究证实无人机噪声更烦人 送货商得想办法解决Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4一加手机在美摊上事了！拨911会重启Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评，但是它现在似乎…
5乐视大厦楼底“搭帐篷”，供应商讨债陷入持久战两天前乐视股东大会，贾跃亭没回来。\n供应商在门口咚咚敲门，喊着还钱，乐视控股方面赵磊跑去跟…
6瑞银预计iPhone 8起售900美元 苹果明年收益将超预期瑞银集团分析师史蒂芬-米卢诺维奇（Steven Milunovich）在研报中指出，华尔街当…
7SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了SolarCity的共同创始人彼得-里夫（左）\n腾讯科技讯 7月19日，SolarCity…
8终于学会英语了 三星语音助手Bixby正式登陆美国市场The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9小米手环做到全球第一 黄汪却说华米刚刚小学毕业文/腾讯科技 王潘\n不过，四年前华米准备做手环时，华米科技CEO黄汪完全没有想到能够挑战苹…
10这家广告技术公司曾估值20亿美元 如今1.25亿贱卖BI中文站 7月19日报道\n本周二，广告技术公司Rocket Fuel突然被竞争对手Siz…
11河狸家营利悖论：抽成过高致服务受损手艺人离开O2O模式曾掀起资本狂潮，但在经历洗牌期之后，“存活”的平台将如何找到盈利方式成为关键。北京…
12谷歌推出自家新闻推送服务Google FeedBI中文站 7月19日报道\n本周三，这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13IBM连续21季度营收下滑为何仍能实现盈利？腾讯科技讯 7月19日，IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14海信侧面回应夏普：从不惹事，但绝不怕事！环球科技综合报道 7月17日，台湾富士康旗下的夏普官网发布消息称：已以海信在美销售智能电视专…
15Facebook十月开测付费新闻服务 阅读10篇之内免费内容付费的时代正在到来\n本周二，Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16乐视金融被曝逾期不还钱，客服称是“第三方通道的问题”中新经纬客户端7月19日电（罗琨）乐视金融也摊上事了！\n家住北京的张女士爆料称，其在乐视金…
17Snap开始在亚马逊上开卖智能眼镜SpectaclesMashable中文站 7月19日报道\n此前，你只能在有限的几个地方购买到Spectacl…
18美军用激光对付无人机 躲无可躲 击落一架成本仅1美元Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器，而…
19IC Insights：今年全球存储芯片销售将创历史新高腾讯科技讯 据外电报道，市场调研公司IC Insights周三预计，全球DRAM内存芯片和N…
21花点时间获B轮融资 未来布局国际化腾讯科技讯（孙宏超）7月19日消息，今天下午鲜花电商花点时间完成B轮融资，由东方富海、经纬创…
22工信部已提交申报 虚拟运营商正式商用牌照即将发放中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23亚马逊会员日大获成功 但跟“双十一”比就差远了BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot，这是一款入门级智能…
24“傻白甜”CEO是互联网创业界的土特产2011年，我打算离开广告圈，正在四处找工作。\n后来我跟一个年轻人建立了联系，他刚刚从哥伦…
25谷歌助手尴尬了！登陆iOS两个月后热度全消iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份，Goo…
26沃尔玛启用全新物流交付中心 欲进一步助力电商业务【腾讯科技编者按】 据国外媒体报道称，沃尔玛在当地时间周二表示，公司已在佛罗里达达文波特市正…

重新建立索引

news_data = news_data.reset_index(drop=True) 
news_data
titlecontent
0董明珠：我可以不要互联网 但它离不开我新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”？如何打造更为优化的营商环境？…
1可卸载新规实施半月 手机预装软件仍难卸载本报讯 (记者孙喜保)自7月1日起，工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2中兴通讯上半年营收为540亿元 同比增长13%腾讯科技讯 7月19日，中兴通讯上半年业绩快报显示，今年上半年中兴通讯营收为540.1亿元，…
3NASA研究证实无人机噪声更烦人 送货商得想办法解决Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4一加手机在美摊上事了！拨911会重启Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评，但是它现在似乎…
5乐视大厦楼底“搭帐篷”，供应商讨债陷入持久战两天前乐视股东大会，贾跃亭没回来。\n供应商在门口咚咚敲门，喊着还钱，乐视控股方面赵磊跑去跟…
6瑞银预计iPhone 8起售900美元 苹果明年收益将超预期瑞银集团分析师史蒂芬-米卢诺维奇（Steven Milunovich）在研报中指出，华尔街当…
7SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了SolarCity的共同创始人彼得-里夫（左）\n腾讯科技讯 7月19日，SolarCity…
8终于学会英语了 三星语音助手Bixby正式登陆美国市场The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9小米手环做到全球第一 黄汪却说华米刚刚小学毕业文/腾讯科技 王潘\n不过，四年前华米准备做手环时，华米科技CEO黄汪完全没有想到能够挑战苹…
10这家广告技术公司曾估值20亿美元 如今1.25亿贱卖BI中文站 7月19日报道\n本周二，广告技术公司Rocket Fuel突然被竞争对手Siz…
11河狸家营利悖论：抽成过高致服务受损手艺人离开O2O模式曾掀起资本狂潮，但在经历洗牌期之后，“存活”的平台将如何找到盈利方式成为关键。北京…
12谷歌推出自家新闻推送服务Google FeedBI中文站 7月19日报道\n本周三，这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13IBM连续21季度营收下滑为何仍能实现盈利？腾讯科技讯 7月19日，IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14海信侧面回应夏普：从不惹事，但绝不怕事！环球科技综合报道 7月17日，台湾富士康旗下的夏普官网发布消息称：已以海信在美销售智能电视专…
15Facebook十月开测付费新闻服务 阅读10篇之内免费内容付费的时代正在到来\n本周二，Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16乐视金融被曝逾期不还钱，客服称是“第三方通道的问题”中新经纬客户端7月19日电（罗琨）乐视金融也摊上事了！\n家住北京的张女士爆料称，其在乐视金…
17Snap开始在亚马逊上开卖智能眼镜SpectaclesMashable中文站 7月19日报道\n此前，你只能在有限的几个地方购买到Spectacl…
18美军用激光对付无人机 躲无可躲 击落一架成本仅1美元Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器，而…
19IC Insights：今年全球存储芯片销售将创历史新高腾讯科技讯 据外电报道，市场调研公司IC Insights周三预计，全球DRAM内存芯片和N…
20花点时间获B轮融资 未来布局国际化腾讯科技讯（孙宏超）7月19日消息，今天下午鲜花电商花点时间完成B轮融资，由东方富海、经纬创…
21工信部已提交申报 虚拟运营商正式商用牌照即将发放中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
22亚马逊会员日大获成功 但跟“双十一”比就差远了BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot，这是一款入门级智能…
23“傻白甜”CEO是互联网创业界的土特产2011年，我打算离开广告圈，正在四处找工作。\n后来我跟一个年轻人建立了联系，他刚刚从哥伦…
24谷歌助手尴尬了！登陆iOS两个月后热度全消iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份，Goo…
25沃尔玛启用全新物流交付中心 欲进一步助力电商业务【腾讯科技编者按】 据国外媒体报道称，沃尔玛在当地时间周二表示，公司已在佛罗里达达文波特市正…
czl389
关注
  • 5
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
新闻个性化推荐算法训练集数据
04-14
新闻个性化推荐算法需要用到的一些训练集数据包含用户编号、新闻编号、浏览时间、新闻标题、详细内容、发表时间
Python获取腾讯新闻并存入txt文件
KK_2018的技术博客_程序员不止是程序员
01-25 817
import requests import json headers={ 'referer': 'https://news.qq.com/', 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } def getPage(url): try: re=r.
python爬取新闻网站内容,python爬取新闻内容报告
最新发布
2401_83157073的博客
02-29 1794
在命令行窗口下面 创建一个crawl爬虫模板（注意在文件的根目录下面，指令检查别输入错误，-t 表示使用后面的crawl模板），会在spider文件夹生成一个news163.py文件然后看一下这个‘crawl’模板和一般的模板有什么区别，多了链接提取器还有一些爬虫规则，这样就有利于我们做一些深度信息的爬取系统的介绍会在爬虫专项里面进行讲解，这里介绍一些基础性的可以用在这个项目里面的知识点,，正则表达式是由字符和操作符组成的，常见的语法如下图。
java 爬虫 异步_Java 爬虫遇上数据异步加载，试试这两种办法！
weixin_30582953的博客
02-16 268
这是 Java 爬虫系列博文的第三篇，在上一篇 Java 爬虫遇到需要登录的网站，该怎么办？ 中，我们简单的讲解了爬虫时遇到登录问题的解决办法，在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题，这也是爬虫中常见的问题。现在很多都是前后端分离项目，这会使得数据异步加载问题更加突出，所以你在爬虫时遇到这类问题不必惊讶，不必慌张。对于这类问题的解决办法总体来说有以下两种：1、内置一个浏览器内核内...
数据采集（三）：用XPath爬取腾讯新闻
czl389的专栏
07-20 3327
用XPath 爬取腾讯新闻import requests from lxml import etree先用requests.get()方法请求页面result=requests.get("http://news.qq.com/") encode=result.encoding content=result.content encode'GB2312' 注意指定解析器的编码格式 selector=et
python爬虫爬取腾讯新闻
guoxuying的博客
08-23 2104
python爬虫爬取腾讯新闻 话不多说，直接上代码！ import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() #r.encoding = 'utf-8' return r.text except: return
Python 数据采集——爬取school news链接和标题
耶耶猫猫的博客
09-21 2560
用urlopen+Beautifulsoup完成一个学校新闻标题的爬取任务准备工作
Python爬虫系列（四）：爬取腾讯新闻&知乎
南有芙蕖
04-27 3989
一、爬取腾讯新闻 了解ajax加载 通过chrome的开发者工具，监控网络请求，并分析 用selenium完成爬虫 具体流程如下： 用selenium爬取https://news.qq.com/ 的热点精选 热点精选至少爬50个出来，存储成csv 每一行如下 标号（从1开始）,标题,链接,…（前三个为必做，后面内容可以自己加） 1）爬取给的腾讯新闻网页 #主要是从给定腾讯新闻网页中爬取新闻的...
Python 数据采集-爬取厦门大学官网新闻标题与链接（一）
Pola_的博客
12-04 2105
Python 数据采集-爬取厦门大学官网新闻标题与链接前言一、爬取栏目的单页内容00 思路分析01 代码实现二、实现自动翻页爬取00 思路分析01 代码实现三、实现自动切换不同栏目爬取00 思路分析01 代码实现四、完整代码展示五、小结 前言 列表有一个朋友的学校是厦门大学，想起来之前高三我和室友的约定，我想去集美大学，朋友想去厦门大学，结果，我们两个都没有考上哈哈哈 之前我说要更博文，但是突如其来的一个项目打乱了我的计划，直至今天，我应该是拨乱反正了，所以今天及之后开始继续更博文，之前新闻爬取的小结里说可
Python 万能代码模版：爬虫代码篇
m0_67402341的博客
08-02 2041
你好，我是悦创。很多同学一听到Python或编程语言，可能条件反射就会觉得“很难”。但今天的Python课程是个例外，因为今天讲的**Python技能，不需要你懂计算机原理，也不需要你理解复杂的编程模式。**即使是非开发人员，只要替换链接、文件，就可以轻松完成。并且这些几个实用技巧，简直是Python日常帮手的最佳实践。接下来，我们就逐一用Python实现，其中我提供的代码是万能代码，只用替换成你想爬的网页链接、文件位置、照片就可以进行处理了。**Tips.py文件。...
selenium爬取腾讯新闻feiyan页面实时数据
12-21
requests+json爬取腾讯新闻feiyan实时数据并实现持续更新 requests+bs4爬取丁香园feiyan实时数据 但是之前用腾讯的接口，一方面腾讯老是换接口，另一方面提供的接口经常不更新数据。而丁香园的数据吧，老是不大准确...
百度新闻标题采集软件
06-02
代码非常简单的小偷程序。 对于学习过vbscript语言的同学，这个程序是最容易弄懂新闻采集系统原理的程序。 集成了百度，搜狐，网易的新闻采集方法
8.（地图数据篇）腾讯地图矢量瓦片数据爬取--java代码.zip
06-28
下载如有问题，可私信博主。下载前建议先查看博客内容，其地址为：https://blog.csdn.net/QQ98281642/article/details/118306322
仿腾讯网地方新闻门户网源代码
03-18
仿腾讯网地方新闻门户网源码，整站程序带数据网站源码（带采集）可生成静态，是做资讯门户站的绝对首选哦。 本套系统后台功能强大，自带了多条采集规则,可采集各个栏目不同的新闻，后台可以直接一键生成静态页面，...
互联网文本内容安全：腾讯云天御AI对抗实践
01-27
随着互联网、智能设备及各种新生业务的飞速发展，互联网上的数据呈现爆炸式增长，图片、视频、发文、聊天等互动内容已经成为人们表达感情、记录事件和日常工作不可或缺的部分。这些日益增长的内容中也充斥着各种不可...
腾讯数码滚动新闻采集爬虫源码
12-23
分享完整的腾讯数码滚动新闻采集爬虫源码，可直接使用，爬取字段包括标题、正文、发布时间和作者等字段。
爬取腾讯新闻中省份疫情数据到Mysql数据库
dagda1的博客
03-13 1539
爬取腾讯新闻中省份疫情数据到Mysql数据库 本人是一个中职学生，第一次发表自己所学到技术…… 本篇文章所用到的语言及工具等： python 3.8 pycharm Mysql Navicat Premium 15 requests json 步骤： 1. 首先要进入腾讯新闻疫情网站； 2.然后按F12进入检查在Network找到json数据文件的Url: 我们可以看到此URL：为https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&
python爬取腾讯新闻_python爬虫实战――爬取腾讯新闻 ！
weixin_39855796的博客
11-20 1648
无论我们通过浏览器打开网站、访问网页，还是通过脚本对URL网址进行访问，本质上都是对HTTP服务器的请求，浏览器上所呈现的、控制台所显示的都是HTTP服务器对我们请求的响应。以打开腾讯新闻官网为例，我们在地址栏输入“http://news.qq.com/”，浏览器上呈现的是下图：Python学习交流群：1004391443，这里有资源共享，技术解答，还有小编从最基础的Python资料到项目实战的学...
Python+Scrapy爬取腾讯新闻首页所有新闻及评论
weixin_30662011的博客
04-25 1080
前言 这篇博客写的是实现的一个爬取腾讯新闻首页所有的新闻及其所有评论的爬虫。选用Python的Scrapy框架。这篇文章主要讨论使用Chrome浏览器的开发者工具获取新闻及评论的来源地址。 Chrome的开发者工具（或Firefox的web控制台）是个很有用的工具，你可以通过它清楚的看到你在访问一个网站的过程中浏览器发送了哪些信息，接收了哪些信息。而在我们编写爬虫的时候，就需要知道我们需要爬取...
python爬取腾讯新闻网
10-26
Python可以使用Selenium和BeautifulSoup库来爬取腾讯新闻网。具体流程如下： 1. 使用Selenium模拟浏览器打开腾讯新闻网站。 2. 分析网页结构，找到需要爬取的内容所在的标签和属性。 3. 使用BeautifulSoup库解析网页...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值