Python爬虫实际应用之简单可视化（Echarts）zjgsu和zju两所大学的百度贴吧一天中时段发帖规律

最新推荐文章于 2023-06-06 23:28:10 发布
最新推荐文章于 2023-06-06 23:28:10 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： Python 文章标签： 爬虫 数据可视化 mysql 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012421448/article/details/45073767
版权

Python爬虫实际应用之分析zjgsu和zju两所大学的百度贴吧一天中时段发帖规律

整理整理，从头开始说起！本来是课间偶然的一个想法，后来想想也蛮有趣的，看看“985”的贴主们和咱学校差异（守机器配置和时间限制，数据是两个贴吧前50页的所有帖子的所有楼的回复。不含楼中楼，只是更具需求只获取了发帖时间和发帖人的昵称）

---jackshenonly的处女Bolg

一、首先需要具备的基础知识

1.对python有一定的了解，熟悉一般语法
2.会urllib2模块的基本用法
3.了解正则表达式

4.前端展示了解Echarts绘制方法

5.分析嘛 仁者见仁智者见智大笑

生气学习学习，参考参考，差不多就开始动工了，吼吼吼~~~~~~~

二、需求分析

要了解这两所（zju、zjgsu）的贴吧用户的一天时间发帖规律，自然需要知道这些用户的发帖时间这么一个数据集。
1.首先就是要获得数据：数据这么来呢，百度肯定是不会给你呢大哭，这个时候就只能自求多福了，计科系的当然不会蠢到人工的去一页一页的查并记录。网络reptile技术可以很好解决这机械枯燥的工作。当然你得让这只强悍的“小蜘蛛”听你的控制。
2.简单的数据处理：存入Mysql数据库，根据实际需求，进行简单的统计处理。
3.可视化展示：一堆干瘪瘪的数字谁都不爱看，所以清晰的前端展示还是必要的。用到Echarts数据可视化不再是难事得意

三、实施

实施分析：
1.深入占地：本来对贴吧也不是熟悉，大致浏览了一下，进入zjgsu和zju的贴吧。每页有50个帖子，每个帖子对应有个帖子的ID，打开是该帖子的所有回复时间信息和发帖人昵称信息。每一页的url成规律变化： 
url = 'http://tieba.baidu.com/f?kw=浙江大学&ie=utf-8&pn=' #(page_id-1)*50
每一个帖子的url也有统一性： 
url = 'http://tieba.baidu.com/p/'+帖子id
然后用正则式，提取自己需要部分：
帖子id: 
'<a href="/p/(\d.*?)" title="'
发帖时间： 
'<span.*?class="j_reply_data">(.*?)</span>'

发帖用户： 
'<li class="d_name".*?>.*?<a.*?class="p_author.*?>(.*?)</a>.*?</li>'
2.找到对象：活动活动，开始coding。打开熟悉的IDE sublime。 先对每一页创建一个类，对每个帖子创建一个类，废话不多说，直接上代码。 
class Topic_Page:
	url = 'http://tieba.baidu.com/f?kw=浙江工商大学&ie=utf-8&pn=' #(page_id-1)*50
	def __init__(self, page_id):
		self.url += str((page_id-1)*50)
		self.page_id = page_id
		self.topic_ids = []
		#self.pages = []
	def MySpider(self):
		print "正在获取第 "+str(self.page_id)+" 页的内容..."
		mypage = urllib2.urlopen(self.url).read().decode("utf8")
		print "获取第 "+str(self.page_id)+" 页的内容成功!"
		
		return mypage
	def GetTopicId(self):
		myMatch = re.findall('<a href="/p/(\d.*?)" title="',self.MySpider(),re.S)
		print "匹配第 "+str(self.page_id)+" 页的TopicID成功!"
		for topicid in myMatch:
			self.topic_ids.append(topicid)
		#self.pages.append(topic_ids)

      
class Details_Page:
	url = 'http://tieba.baidu.com/p/'
	def __init__(self, topic_id):
		self.url += str(topic_id)
	def MySpider(self):
		mypage = urllib2.urlopen(self.url).read().decode("utf8")
		return mypage.replace('\n','')
	def GetDetails_PutIntoFile(self):
		myMatch = re.findall('<span.*?class="j_reply_data">(.*?)</span>',self.MySpider(),re.S)
		myMatch2 = re.findall('<li class="d_name".*?>.*?<a.*?class="p_author.*?>(.*?)</a>.*?</li>',self.MySpider(),re.S)
		#print len(myMatch)
		#filename
		f = open("zju_time_username.txt","a")
		for reply in range(len(myMatch)):
			f.write(myMatch[reply]+":00" + "\t" + myMatch2[reply].encode('utf8')+"\n")


	def Page_Counter(self):
		myMatch = re.search(r'<span class="red">(\d*?)</span>',self.MySpider(),re.S)
		return myMatch.groups()[0]
3.然后就是程序的入口，和控制变量。其中Break_*那几个变量是大概网络不稳定时，获取网页出错时程序停止，更具屏幕输出信息，重新接着开始而 设置的。当然用try  except可能会更好。将需要的结果存入文件等待待处理。 
#----------program entry------------		
begin_page = 1
end_page = 50

Break_Main_Page = 18
Break_tie = 43
Break_Next_Page = 0

beginTime =  time.strftime("%Y-%m-%d %H:%M:%S")+"\t"+"数据获取开始时间\n"

for MainPage in range(begin_page,end_page + 1):
	if MainPage < Break_Main_Page:      #when break
		continue
	a = Topic_Page(MainPage)
	a.GetTopicId()
	for index,topic_id in enumerate(a.topic_ids):
		if index+1 < Break_tie:         #when break
			continue

		print "正在获取第 "+str(MainPage)+" 页的，第 "+str(index+1)+" 个贴子.../p/"+str(topic_id)
		b = Details_Page(topic_id)
		temp_url = b.url
		#print temp_url
		#exit()
		for NextPage in range(int(b.Page_Counter())):
			if NextPage+1 < Break_Next_Page:
				continue
			b.url = temp_url + "?pn=" + str(NextPage+1)
			b.GetDetails_PutIntoFile()
		Break_Next_Page = 0
	Break_tie = 0
Break_Main_Page = 0

endTime =time.strftime("%Y-%m-%d %H:%M:%S")+"\t"+"数据获取结束时间\n"
f = open('zjgsu_time_username.txt',"a")
f.write(beginTime+endTime)
f.close()
4.biu~biu~~~，帅气地按下Ctrl+B,程序跑起来了 得意。


5.数据导入mysql，了解只自然知道是so easy的： 
load data infile "filepath/filename.txt" into table table_name (datetime,author)
我们需要的其实只是一天当中的时间，而获取的还包括日期。做一个小的处理 
alter table_name add column time time after author;
update table_name set time = datetime;
赋值过去，多余的部分会自动舍掉。
6.数据可视化：
数据库中对数据的操作是非常方便的。接下来进行时间段统计，我把一天的时间分为课余时间、课堂时间和课间时间共：32个时间段。time_data = ['00:00~01:00','01:00~02:00','02:00~03:00','03:00~04:00','04:00~05:00','05:00~06:00','06:00~07:00','07:00~08:05','08:05~09:35','09:35~09:50','09:50~10:35','10:35~10:40','10:40~11:25','11:25~11:30','11:30~12:15','12:15~13:40','13:40~14:25','14:25~14:35','14:35~15:20','15:20~15:30','15:30~16:15','16:15~16:25','16:25~17:10','17:10~18:30','18:30~19:15','19:15~19:25','19:25~20:10','20:10~20:20','20:20~21:05','21:05~22:00','22:00~23:00','23:00~24:00'];
写个存储过程来统计数值吧，就叫counter()，简单粗暴的代码如下：偷笑偷笑偷笑 
DROP PROCEDURE IF EXISTS `counter_zju`;

CREATE DEFINER = `root`@`localhost` PROCEDURE `counter_zju`()
BEGIN
	#Routine body goes here...
SELECT count(*) from zju where                        time  <= '01:00:00' INTO @count1;
SELECT count(*) from zju where time  > '01:00:00' AND time  <= '02:00:00' INTO @count2;
SELECT count(*) from zju where time  > '02:00:00' AND time  <= '03:00:00' INTO @count3;
SELECT count(*) from zju where time  > '03:00:00' AND time  <= '04:00:00' INTO @count4;
SELECT count(*) from zju where time  > '04:00:00' AND time  <= '05:00:00' INTO @count5;
SELECT count(*) from zju where time  > '05:00:00' AND time  <= '06:00:00' INTO @count6;
SELECT count(*) from zju where time  > '06:00:00' AND time  <= '07:00:00' INTO @count7;
SELECT count(*) from zju where time  > '07:00:00' AND time  <= '08:05:00' INTO @count8;
SELECT count(*) from zju where time  > '08:05:00' AND time  <= '09:35:00' INTO @count9;
SELECT count(*) from zju where time  > '09:35:00' AND time  <= '09:50:00' INTO @count10;
SELECT count(*) from zju where time  > '09:50:00' AND time  <= '10:35:00' INTO @count11;
SELECT count(*) from zju where time  > '10:35:00' AND time  <= '10:40:00' INTO @count12;
SELECT count(*) from zju where time  > '10:40:00' AND time  <= '11:25:00' INTO @count13;
SELECT count(*) from zju where time  > '11:25:00' AND time  <= '11:30:00' INTO @count14;
SELECT count(*) from zju where time  > '11:30:00' AND time  <= '12:15:00' INTO @count15;
#下午
SELECT count(*) from zju where time  > '12:15:00' AND time  <= '13:40:00' INTO @count16;
SELECT count(*) from zju where time  > '13:40:00' AND time  <= '14:25:00' INTO @count17;
SELECT count(*) from zju where time  > '14:25:00' AND time  <= '14:35:00' INTO @count18;
SELECT count(*) from zju where time  > '14:35:00' AND time  <= '15:20:00' INTO @count19;
SELECT count(*) from zju where time  > '15:20:00' AND time  <= '15:30:00' INTO @count20;
SELECT count(*) from zju where time  > '15:30:00' AND time  <= '16:15:00' INTO @count21;
SELECT count(*) from zju where time  > '16:15:00' AND time  <= '16:25:00' INTO @count22;
SELECT count(*) from zju where time  > '16:25:00' AND time  <= '17:10:00' INTO @count23;
SELECT count(*) from zju where time  > '17:10:00' AND time  <= '18:30:00' INTO @count24;
SELECT count(*) from zju where time  > '18:30:00' AND time  <= '19:15:00' INTO @count25;
SELECT count(*) from zju where time  > '19:15:00' AND time  <= '19:25:00' INTO @count26;
SELECT count(*) from zju where time  > '19:25:00' AND time  <= '20:10:00' INTO @count27;
SELECT count(*) from zju where time  > '20:10:00' AND time  <= '20:20:00' INTO @count28;
SELECT count(*) from zju where time  > '20:20:00' AND time  <= '21:05:00' INTO @count29;
SELECT count(*) from zju where time  > '21:05:00' AND time  <= '22:00:00' INTO @count30;
SELECT count(*) from zju where time  > '22:00:00' AND time  <= '23:00:00' INTO @count31;
SELECT count(*) from zju where time  > '23:00:00'                         INTO @count32;

	select @count1,@count2,@count3,@count4,@count5,@count6,@count7,@count8,@count9,@count10,@count11,@count12,@count13,@count14,@count15,@count16,@count17,@count18,@count19,@count20,@count21,@count22,@count23,@count24,@count25,@count26,@count27,@count28,@count29,@count30,@count31,@count32;
END;



既然有了数据，就可以将其可视化出来了。我用的是Echarts，很好用也很简单，读读官网的API就能很快使用，这图表在浏览器里还是可交互的，交互性和视觉效果都很棒。最终可视化结果如下：
 

四、结论

两所大学在百度贴吧的活跃度所呈现的规律基本是一样的，课间的活跃度始终是低于课堂的，当然也有上课埋头玩贴吧的熊孩子偷笑偷笑偷笑，zju的活跃明显比zjgsu的高，当然是基数大也是个原因。本来还想把所有回复的内容都给获取下来的，想统计统计词频，看看我们这些大学生都在聊些什么的。受限于最近时间比较吃紧，和词频统计算法研究不够，就先把这个落下了，有想法的可以去试试。

五、体会

第一次在CSDN上面发blog，真的是好紧张、好紧张，以前都是看别人发的文章，对自己的帮助也很大。自己也想来试试把自己做小东西分享一下，望诸君莫笑，多多指教、斧正和建议，当然也需要多多鼓励奋斗奋斗奋斗。
额，该去写作业了大哭大哭大哭 
 

 


                

        

        

    

  


    

      

        

            

              
                
                  jackshenonly
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
爬虫实际应用(1)

				
			

			

				

					u014229742的博客
				

				

					07-11
					
					4574
					
				

			

		

		

			
				
1.运行爬虫脚本命令



#编写爬虫脚本时,需要给脚本取一个名字
scrapy crawl name



2.进入调试界面



#该命令会进入到https://movie.douban.com/top250网页的调试界面
scrapy shell https://movie.douban.com/top250



#该命令直接进入到脚脚本的调试界面
python manage.py she...

			
		

	



                

              
                



	

		

			

				
					
Python爬虫遇到的问题（一）---关于utf-8,gbk

				
			

			

				

					FCinPJ的博客
				

				

					09-27
					
					3564
					
				

			

		

		

			
				
Python爬虫遇到的问题（一）—关于utf-8,gbk
遇到的问题
最初，在爬取浙江工商大学信息网时，使用了以下代码：
from bs4 import BeautifulSoup
import urllib.request

def get_html(url):
    page = urllib.request.urlopen(url) 
    htmlcode = page.read() ...

			
		

	



                


  
              

                


	

		

			

				
					
爬虫的实战应用

				
			

			

				

					weixin_54929649的博客
				

				

					08-07
					
					1443
					
				

			

		

		

			
				
Network内请求的提取及存储

			
		

	





	

		

			

				
					
爬虫在生活中有哪些实际运用

					
最新发布

				
			

			

				

					komorebi1ko的博客
				

				

					06-06
					
					287
					
				

			

		

		

			
				
Python爬虫在现实生活中有许多实际运用，例如：

			
		

	



		

			
		



	

		

			

				
					
网络爬虫的实际运用

				
			

			

				

					VisayaHodr的博客
				

				

					10-21
					
					388
					
				

			

		

		

			
				
网络爬虫的使用
利用网络爬虫对目标网站数据的爬取，通过更新pip后安装requests模块，之后通过requests发起http请求。
def get_one_page(url,offset):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi...

			
		

	





	

		

			

				
					
Python爬虫遇到的问题（二）---关于beautifulsoup select方法时得到空列表的问题

				
			

			

				

					FCinPJ的博客
				

				

					09-27
					
					1万+
					
				

			

		

		

			
				
问题
右键点击审查，然后在弹出的html源码中右键选择Copy–&gt;Copy selector
得到
#topic &gt; dl:nth-child(3) &gt; div &gt; div.newsbottom &gt; ul &gt; li:nth-child(8) &gt; a

描述了我们想要获取的内容在html中的由外层到内层的位置/路径信息。
from bs4 import Be...

			
		

	





	

		

			

				
					
PythonACM测试题之庆祝建国七十周年阅兵

				
			

			

				

					xxYuan69的博客
				

				

					04-22
					
					171
					
				

			

		

		

			
				
最终，tail 数组的长度就是我们所求的答案。细心的木斤发现：某一方阵走在第一列的n个军人，从左到右是按照各自的身高升序排列的，但体重上从左到右出现了乱序，木斤分别给这n个军人按照体重设定了不同的权值（从左到右第i个人的权值设为a[i])。对于每个 i，我们遍历其之前的所有人 j，如果 a j < a i ，则 j 可以加入到以i 结尾的最长严格升序排列中，此时 dpi 取 dpj +1 的最大值。定义 dpi 表示以第 i 个人为结尾的最长严格升序排列的长度，则我们需要求的就是 dp 数组中的最大值。

			
		

	





	

		

			

				
					
地理区域数据层次可视化及属性关联多尺度展示方法研究

				
			

			

				

					
				

			

		

		

			
				
杭州310014c中国浙江大学医学院附属第一医院d中国信息工程大学数据与目标工程研究所浙江工商大学统计与数学学院，浙江杭州310018ar t i cl e i nf o文章历史记录：收到2021年2021年9月13日接受2021年9月25日网上发售...

			
		

	





	

		

			

				
					
学校云战役自动打卡系统——基于python requests模块及腾讯云函数实现

				
			

			

				

					weixin_46486156的博客
				

				

					02-02
					
					3499
					
				

			

		

		

			
				
目录前言一python链接网址实现运行程序即可打卡1.代码2.说明二、腾讯云函数定时触发1.注册2.创建函数3.创建该函数的触发器4.函数代码5.函数补充说明6.日志写在最后
前言
放假回家无事可做，正好在看python的书，于是就做了这个全球某工商云战役自动打卡系统，做的过程中运用了python request模块、python time模块、服务器、腾讯云函数， emmmm，学生党还没有属于自己的服务器，就只能使用用爱发电的腾讯云函数了
在这里放一下我室友用服务器实现自动打卡功能的链接链接: 全球某工商

			
		

	





	

		

			

				
					
python 爬虫全国大部分城市最低气温爬取并用pyecharts实现可视化

				
			

			

				

					02-06
				

			

		

		

			
				
python 爬虫全国大部分城市最低气温爬取并可视化源码，会在当前文件目录下生成一个render,html即为气温可视化文件。

			
		

	





	

		

			

				
					
echarts-python:使用Python生成Echarts选项

				
			

			

				

					04-23
				

			

		

		

			
				
适用于Python的图表
使用Python的非官方Echarts选项生成器。 
 免费软件：MIT许可证
文档：  :  （尚未就绪）
 在线演示：  ：  （尚未就绪）
 此仓库仍在开发中（ALPHA），请勿在生产中使用它。
安装
使用pip安装echarts-python 
$ pip install echarts-python
当前版本
基本用法
from echarts import Echart , Legend , Bar , Axis
chart = Echart ( 'GDP' , 'This is a fake chart' )
chart . use ( Bar ( 'China' , [ 2 , 3 , 4 , 5 ]))
chart . use ( Legend ([ 'GDP' ]))
chart . use ( Axis ( 'category' , 'bot

			
		

	





	

		

			

				
					
python爬虫实际应用_如何使用python爬虫论坛？

				
			

			

				

					weixin_39707536的博客
				

				

					11-26
					
					207
					
				

			

		

		

			
				
除了之前跟大家讲述过的视频、音乐以及时事新闻，关于爬虫可以做的事情有很多很多，像论坛也是其中之一，应用最火的内容，之前给大家罗列的爬虫实际内容有很多，但是还是希望将每个实际内容都跟大家说一下。让大家在遇到这些问题时候，可以有个参考，因此，根据大家罗列的清单，给大家继续安排python怎么爬取论坛，一起来看下吧~库：requests,re,selenium,time具体步骤：一、搜索贴吧准备一个自己...

			
		

	





	

		

			

				
					
爬虫模块的应用

				
			

			

				

					上善若水
				

				

					01-25
					
					313
					
				

			

		

		

			
				
文章目录beautifulsoup模块的使用(用于清洗数据,可以和正则匹配使用)gevent模块(异步提交任务)aspncio模块(模拟浏览器发送请求,从建立链接到,发送接收都得自己封装)python中的uuid模块
beautifulsoup模块的使用(用于清洗数据,可以和正则匹配使用)
也可以修改文档树
html_doc = """
&lt;html&gt;&lt;head&gt;&lt;ti...

			
		

	





	

		

			

				
					
echarts python 教程_Echarts入门(零基础小白教程)

				
			

			

				

					weixin_39598308的博客
				

				

					12-16
					
					1780
					
				

			

		

		

			
				
前言适合0前端基础的小白，什么配置啊，不会啊，我就想画个图先，没问题，按照步骤做，先来实现第一个图，之后官方教程会教会你更多的。下载echarts小白建议，直接下完整版，先搞清楚怎么画出一张图再说点击这里下载Echarts，进入链接，选择完整版下载，之后会得到一个echarts.min.js的一个js脚本，别管他，先放着。新建一个html文件我这里取名为echartstest.html,然后将下面...

			
		

	





	

		

			

				
					
Python  实现 echarts 图表

					
热门推荐

				
			

			

				

					hezheqiang的专栏
				

				

					12-28
					
					1万+
					
				

			

		

		

			
				
pyecharts 是一个用于生成 Echarts 图表的类库。 Echarts 是百度开源的一个数据可视化 JS 库。主要用于数据可视化。

			
		

	





	

		

			

				
					
基于Echarts疫情分析系统--爬虫接口详解

				
			

			

				

					weixin_45362837的博客
				

				

					01-16
					
					1806
					
				

			

		

		

			
				
基于echarts的疫情数据分析 爬取 渲染

			
		

	





	

		

			

				
					
python echarts接口_Python之图表Pyecharts

				
			

			

				

					weixin_39968266的博客
				

				

					12-18
					
					658
					
				

			

		

		

			
				
Echarts 是百度开源的一个数据可视化 JS 库。主要用于数据可视化。而 pyecharts 是一个用于生成 Echarts 图表的类库(归属于python的第三方模块)，自带dark主题。【本质上是：Echarts 与 Python 的对接。】通用配置项xyAxis：直角坐标系中的 x、y 轴(Line、Bar、Scatter、EffectScatter、Kline)dataZoom：dat...

			
		

	





	

		

			

				
					
python echarts接口_python数据可视化：pyecharts

				
			

			

				

					weixin_34795681的博客
				

				

					02-19
					
					668
					
				

			

		

		

			
				
发现了一个做数据可视化非常好的库：pyecharts。非常便捷好用，大力推荐！！官方介绍：pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒，pyecharts 是为了与 Python 进行对接，方便在 Python 中直接使用数据生成图。展示几个教程中有的例子。柱状图/折线图基本的柱状...

			
		

	





	

		

			

				
					
Could not remove dir '/data/data/com.zjgsu.ewords/code_cache/.ll/': No such file or directory

				
			

			

				

					05-30
				

			

		

		

			
				
这个错误意味着你的应用程序试图删除一个不存在的目录。在这种情况下，应用程序试图删除 `/data/data/com.zjgsu.ewords/code_cache/.ll/` 目录，但是该目录并不存在，因此删除操作失败了。  有几种可能的原因导致这...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值