头歌实训答案:招聘数据分析

import pymongo
from pymongo import MongoClient
class Lagou01Pipeline(object):
    def open_spider(self,spider):
        self.db = MongoClient('localhost',27017).lagou_db
        self.collection = self.db.lagou_collection
    def process_item(self, item, spider):
        self.collection.insert_one(dict(item))
        return item

#********** Begin **********#
#1.导入基础包
import numpy as np  
import pandas as pd  
import matplotlib.pyplot as plt  
import re  
#2.读取数据
path = r'step2/'  
filePath = path+r'positions.csv'  
display_column = ["salarylow","salaryhigh","company","positionname","index_id","position"]
df = pd.read_csv(filePath,encoding='gbk')  

#3.重新设置列的顺序
df = df.reindex(columns=display_column)  
#********** End **********#
d5 = df.head()
print(d5)  #显示前5行数据

#********** Begin **********#
#1.导入基础包
import numpy as np  
import pandas as pd  
import matplotlib  
 
matplotlib.use('Agg')  
import matplotlib.pyplot as plt  
import re  

# 防止中文乱码
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'

#2.导入文档数据
path = r'step3/'  
filePath = path+r'positions.csv'  
display_column = ['edu','index']  
df = pd.read_csv(filePath,encoding='gbk')  
df = df.reindex(columns=display_column)  
#3.分析数据
X = ['本科','大专','不限','硕士','博士']
Y = df['edu'].value_counts().tolist()
sum = df['edu'].value_counts().sum()
#4.画图
fig,ax = plt.subplots()    
ax.pie(Y/sum,autopct='%1.1f%%',labels=X)  
fig.set_size_inches(7,7)                 
#********** End **********#
plt.savefig(path+r'/yourimg/'+r'pie.png') #存储图片
#********** Begin **********#
#1.导入基础包
import numpy as np  
import pandas as pd  
import matplotlib.pyplot as plt  
import re  
#2.导入文档数据
path = r'step4/'  
filePath = path+r'positions.csv'  
display_column = ['salarylow']
df = pd.read_csv(filePath,encoding='gbk')  
df = df.reindex(columns=display_column)  
#3.分析数据
data = df['salarylow'].value_counts().sort_index()   
X = data.index
Y = data.tolist()    
#4.画图
x = np.arange(len(X)) + 1     
width = 0.5            
fig,ax = plt.subplots()  
ax.bar(x,Y,width,alpha = 1)  

for p in ax.patches:  
   ax.annotate(str(p.get_height()), xy=(p.get_x(), p.get_height()))  
#********** End **********#
plt.savefig(path+r'/yourimg/'+r'bar.png') #存储图片
#********** Begin **********#
#1.导入基础包
import numpy as np  
import pandas as pd  
import matplotlib  
matplotlib.use('Agg')  
import matplotlib.pyplot as plt  
import re  

# 防止中文乱码
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'

#2.导入文档数据
path = r'step5/'  
filePath = path+r'positions.csv'  
display_column = ['salarylow','salaryhigh']
df = pd.read_csv(filePath,encoding='gbk')  
df = df.reindex(columns=display_column)  
#3.分析数据
datalow = df['salarylow'].value_counts().sort_index().values
datahigh = df['salaryhigh'].value_counts().sort_index().values
Xlow = np.arange(len(datalow)) + 1
Xhigh = np.arange(len(datahigh)) + 1
Ylow = datalow
Yhigh = datahigh

#4.画图
plt.title('薪资走势图')   
plt.plot(Xlow, Ylow, color='green', label='salarylow')  
plt.plot(Xhigh, Yhigh, color='red', label='salaryhigh')  
plt.legend() # 显示图例   
plt.xlabel('薪资')  
plt.ylabel('职位数')  
plt.show() 
#********** End **********#
plt.savefig(path+r'/yourimg/'+r'plot.png') #存储图片
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
很抱歉,作为AI语言模型,我并不知道关于头歌实训答案的任何信息,也不参与任何形式的考试作弊行为。不过,关于Scrapy爬虫之网站图片爬取,我可以给出一些基本的指导信息,希望能够帮到您。 Scrapy是一个Python编写的爬虫框架,它可以帮助我们快速、高效地抓取网站上的数据。如果想要爬取网站上的图片,我们可以通过Scrapy框架来实现。 以下是一个简单的Scrapy爬虫程序,用于爬取指定网站上的图片: ``` import scrapy class ImageSpider(scrapy.Spider): name = 'imagespider' allowed_domains = ['example.com'] start_urls = ['http://www.example.com'] def parse(self, response): for image_url in response.css('img::attr(src)').extract(): yield {'image_url': image_url} ``` 在这个程序中,我们首先定义了一个名为ImageSpider的爬虫类,其中包含了三个属性:name、allowed_domains和start_urls。其中,name属性指定了爬虫的名称,allowed_domains属性指定了允许爬取的域名,start_urls属性指定了爬虫的起始URL。 在parse方法中,我们使用了response.css('img::attr(src)').extract()来提取页面中所有的图片URL。然后,我们使用yield语句将每个URL都封装成一个字典,以便之后进行处理。 在执行这个程序之前,我们还需要在settings.py文件中添加一些配置信息,如下所示: ``` ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} IMAGES_STORE = '/path/to/your/images' ``` 在这个配置中,我们指定了使用Scrapy自带的ImagesPipeline管道来处理图片下载,并且指定了图片保存的路径。 当我们执行这个程序时,Scrapy会自动按照我们的配置信息下载网站上所有的图片,并保存在指定的路径下。 当然,这只是一个简单的例子,实际上爬虫程序的编写还需要考虑很多其他的因素,如反爬虫策略、页面解析规则等等。但是,通过这个例子,您可以初步了解Scrapy爬虫框架的基本使用方法,希望对您有所帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值