目录
动态可视化展示
看完记得点个赞哟！
国家社科基金项目数据库挖掘与分析
项目介绍
项目引入
我们发现在日常的生活中，总是有很多的繁琐的事情，但是又不知道如何去改善和解解压，小王在这里给大家提一个小小的建议:多听听音乐，可能就是不一样的心情啦。生活不只有眼前的苟且，还要有未来的诗和远方。
前期我写一个《Python爬取全网文字并词云分析（全程一键化！）》在文末提到了一个网站，也就是国家社科基金项目数据库，最近又有小伙伴来找我，问我可不可以获取一些数据，进行可视化分析，这样就可以确定研究的相关的方向，之前只是有词云展示，仅仅对标题进行可视化研究。听完她的建议，感觉确实不错，那么要做就要做最好的，我准备把这个数据库里面的全部抓取出来，做宏观的可视化研究，这里只是做一个案例展示，当然你也可以根据你要选择的方向来进行数据分析和可视化，代码是智能的，只需要输入相关的参数即可。
国家社科基金项目数据库可以用来查询，当然是查询了，不过具体的用处我相信需要这个的小伙伴肯定比我要内行，下面我们来看看这个里面的数据吧，数据太多干脆全部爬取下来，要是一页一页的复制，不知道要做到猴年马月，用Python爬取也就20多分钟而已，数据量总共100000条左右。主要维度太多，手动是不可能的，不然怎么说Python是神器了，哈哈哈。
项目资源
代码案例
国家社科基金项目数据库资源挖掘
首先导入需要的第三方库，这里有很多新的知识，比如模拟点击可以制约反爬，请求头的随机产生，延时请求等模板块。
import requests
from lxml import etree
from fake_useragent import UserAgent
import pandas as pd
from urllib.parse import quote
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
然后通过网络爬虫定位数据标签，这里有点不大合适的就是，因为那个数据库里面是定期更新的，有很多的项目还没有一些固定的值，所有我们在爬取的时候需要做到把没有数据的值，变换为None，也要写入到CSV文件，这样才是正确的数据。
比如我采用此方法定位
text_1 = html_.xpath('//div[@class="jc_a"]//tr//td[1]/span')
get_info['项目批准号'] = text_1[index].text做好数据定位了，我们就需要把数据进行存储，这里给代码
df = pd.DataFrame(get_info_list) # 写入到pd里面，赋给df
if count == 0:
df.to_csv('{}.csv'.format(title), mode='a+', index=False, encoding='utf-8')
print("第1页数据写入！！！") # 写入第一行表头加数据，表头默认
count += 1
get_info_list.clear()
else:
df.to_csv('{}.csv'.format(title), mode='a+', index=False, header=False, encoding='utf-8')
a += 1 # 写入后面的其他数据，不写入数据表头，所以为False
print("第{}页数据写入！！！".format(a))
get_info_list.clear()需要注意的是，这里的数据量是比较大的，我们不要按照传统的固定模式，把数据存在列表内存里面，然后一下全部写入，虽然也可以，但是我不建议你这样做，按照一次一页数据就写入，这样耗损的资源也较少，代码的优化型也还不错。
主函数
if __name__ == '__main__':
print("\t\t\t如果想要使用默认参数输入0即可！")
title = input("请输入储存数据的路径及名称如桌面:C:\\Users\\48125\\Desktop\\\n")
xmname = input("请输入项目名称：")
xmtype = input("请输入项目类别：")
xktpye = input("请输入学科类别：")
times = input("请输入立项时间：")
xmtype1 = quote(xmtype, 'utf-8')
xktpye1 = quote(xktpye, 'utf-8')
xmname = quote(xmname, 'utf-8')
url = ("http://fz.people.com.cn/skygb/sk/index.php/index/seach/?" \
"pznum=&xmtype={}" \
"&xktype={}" \
"&xmname={}&lxtime={}" \
"&xmleader=&zyzw=0&gzdw=&dwtype=0&szdq=0&ssxt=0&cgname=&cgxs=0&cglevel=0&jxdata=0&" \
"jxnum=&cbs=&cbdate=0&zz=&hj=".format(xmtype1, xktpye1, xmname, times))
page = dj(url)
print("该种类一共有{}页数数据".format(page))
pages = int(input("请输入你要爬取的页数："))
Data(title, pages, xmtype, xktpye, xmname, times)
还记得之前的文章里面需要我们去浏览器手动点击一下末页，看看有多少也页数，然后输入，这次的程序升级了，采用模拟点击的方法自动获取页数，当然是模拟人操作浏览器点击末页，这样是比较方便的，而且在一些反爬措施，模拟简单也是可选的一个利器，但是各有各的好处与局限性，模拟点击相对于直接请求网页的速度要慢一点，如果是做数据采集的话，就不是最优的选择了，这就需要我们去开启另一扇大门了。
部门代码如下
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(options=chrome_options)
driver.get(url) # 打开网页
# driver.maximize_window() #最大化窗口
time.sleep(2) # 加载等待学而不思则罔，思而不学则殆，其他的留给你自己思考哟！
数据可视化代码合集
如果说做数据可视化我最先选择的是pyecharts，当然这也要看具体的商业场景，如果有兴趣的小伙伴可以移步到我的Python绘制柱状图之可视化神器pyecharts（一）
数据可视化之美专栏一起探索数据可视化的美感和魅力！
项目类别占比分析
from pyecharts import options as opts
from pyecharts.charts import Pie
import pymysql
conn = pymysql.connect(
host='localhost',
user='root',
password='2211',
database='科研项目',
port=3306,
charset='utf8'
)
cur = conn.cursor()
sql = "select `项目类别`,COUNT(*) as `数量` from `data` GROUP BY `项目类别` ORDER BY `数量` DESC LIMIT 8;"
cur.execute(sql)
data = cur.fetchall()
x=[]
y=[]
for i in list(data):
if i[0]==None:
x.append("其他")
y.append(i[1])
else:
x.append(i[0])
y.append(i[1])
print(x)
print(y)
c = (
Pie()
.add(
"",
[list(z) for z in zip(x, y)],
center=["35%", "50%"],
)
.set_global_opts(
title_opts=opts.TitleOpts(title="项目类别分析"),
legend_opts=opts.LegendOpts(pos_left="15%"),
)
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
.render("项目类别占比分析.html")
)
import pyecharts.options as opts
from pyecharts.charts import Line
import pymysql
conn = pymysql.connect(
host='localhost',
user='root',
password='2211',
database='科研项目',
port=3306,
charset='utf8'
)
cur = conn.cursor()
sql = "select `立项时间`,COUNT(*) as `数量` from `data` GROUP BY `立项时间` ORDER BY `立项时间`;"
cur.execute(sql)
data = cur.fetchall()
x=[]
y=[]
for i in list(data):
if i[0]==None:
print(None)
else:
x.append(i[0])
y.append(i[1])
print(x)
print(y)
def line_base():
c = (
Line(init_opts=opts.InitOpts(width="1400px", height="600px")) # 画布大小
.add_xaxis(x) # 添加x轴
.add_yaxis('立项时间', y, is_symbol_show=False, color=['green']) # 添加第一个y轴
.set_global_opts(
title_opts=opts.TitleOpts(title='国家社科基金项目', subtitle="立项时间追踪"),
# 设置x轴的label字体的走向，由于x轴过多，显示不全，在这调整旋转角度
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=90)),
# 下面这是调整是否可以缩放的
datazoom_opts=opts.DataZoomOpts(is_show=True),
)
)
return c
# 生成html文件， 或者在jupyter 里面直接出图
line_base().render("立项时间追踪折线图.html") 
直接展示相关可视化图例
项目总结
1.采用智能的参数提示爬取需要的数据信息
2.炫酷可视化之pyecharts
3.模拟点击之selenium
4.Python底层原生态代码设计
5.数据库之MySQL
6.视频动态展示
每文一语
谋大事者必先布大局
1899
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
