HR的博客

使用Spark进行岗位数据分析配置详解数据获取MySQL建表语句Settings文件主项目代码items部分代码pipelines部分代码**数据分析分析不同学历的平均薪资分析不同岗位的平均薪资分析各公司提供的岗位配置详解本文是使用Scrapy来获取数据，再使用Spark来进行分析各版本如下软件 / 库版本Pycharm社区版2021.3.3Python3.8Pandas1.4.1Numpy1.22.3PyMySQL1.0.2scrapy.

Cron表达式cron表达式各占位符解释常用的时间点cron表达式格式：{秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)}cron表达式各占位符解释{秒数} ==> 允许值范围: 0~59 ,不允许为空值，若值不合法，调度器将抛出SchedulerException异常“*” 代表每隔1秒钟触发；“,” 代表在指定的秒数触发，比如"0,15,45"代表0秒、15秒和45秒时触发任务“-” 代表在指定的范围内触发，比如"25-45"代表从25秒.

这边有一个用来测试的网站点击跳转简单的网页爬虫requests的使用使用requests获取网页的源代码requests与正则结合多线爬虫多进程库开发多线程爬虫爬虫算法的开发深度优先搜索广度优先搜索算法的选择小测试requests的使用requests是Python的一个第三方HTTP（Hypertext Transfer Protocol，超文本传输协议）库，它比Python自带的网络库urllib更加简单、方便和人性化。使用requests可以让Python实现访问网页并获取源代码的功能。..

XPath的使用点击跳转使用Beautiful Soup4从HTML源代码中提取有用的信息简介语法讲解find和find_allselect练习简介BeautifulSoup4（BS4）是Python的一个第三方库，用来从HTML和XML中提取数据。BeautifulSoup4在某些方面比XPath易懂，但是不如XPath简洁，而且由于它是使用Python开发的，因此速度比XPath慢。使用pip命令安装:pip install beautifulsoup4安装后，切换到Python的交互.

高性能HTML内容解析HTML基础结构实现XPath从HTML源代码中提取有用的信息XPath的介绍库的安装XPath语法讲解XPath语句的格式标签1的选取可以省略的属性XPath的特殊情况使用谷歌浏览器来辅助构造XPath使用Beautiful Soup4从HTML源代码中提取有用的信息用正则表达式从网页中提取数据虽然可行。但是，网页的源代码是一种结构化的数据，如果仅仅使用正则表达式，那么这种结构化的优势就没有被很好地利用起来。现在把正则表达式中举的那个例子再做一下演绎：有一个人，长得非常

数据集下载Pandas数据分析题Chipotle快餐数据Chipotle快餐数据题目如下– 将数据集存入一个名为chipo的数据框内– 查看前10行内容– 数据集中有多少个列(columns)？– 打印出全部的列名称– 数据集的索引是怎样的？– 被下单数最多商品(item)是什么?– 在item_name这一列中，一共有多少种商品被下单？– 在choice_description中，下单次数最多的商品是什么？– 一共有多少商品被下单？– 将item_price转换为浮点数.

注：本文着重于使用Flask+Echarts画图，所以不会再数据处理上做较大的操作。本次所使用到的数据北京每小时空气质量房源分布占比疫情数据Echarts官网网址创建基础图例数据展示柱状图北京每小时空气质量柱状图北京每小时空气质量条形图折线图各省份累计确诊折线图各省份疫情信息堆叠图各省份房源数量占比散点图饼图雷达图热力图和地图数据展示空气质量数据房源占比数据疫情数据柱状图北京每小时空气质量柱状图通过观察数据发现，我们只需要两列数据，分别是时间和每小时PM2_5。.

饼图实现动态的读取数据使用的数据展示我们主要就是想要使用循环将数据给写道图中我们先将数据转换成字典类型datas = {}for item in df.head().values: datas[item[0]] = item[1]然后将html文件中的data改成下列 data: [ {% for data in datas %} {value:{{ datas[data] }}, name: '{{da

Pandas基础Pandas基础Pandas基础跳转顶部

可视化的基本案例Echarts简介Echarts简介Echarts 缩写来自 Enterprise Charts（商业级数据图表），是百度的一个开源的数据可视化工具Echarts 能够绘制 2D 和 3D 的饼状图、柱状图、折线图等几乎所有我们能够见到的图形Echarts 能够在 PC 端和移动设备上流畅运行，兼容当前绝大部分浏览器Echarts 是一个纯 JavaScript 的图表库，底层依赖轻量级的 Canvas 库 ZRender官网: https://echarts

正则表达式的使用正则表达式的基础符号在python中使用正则findallsearch“.*”和“.*?”的区别正则表达式（Regular Expression）是一段字符串，它可以表示一段有规律的信息。Python自带一个正则表达式模块，通过这个模块可以查找、提取、替换一段有规律的信息。在程序开发中，要让计算机程序从一大段文本中找到需要的内容，就可以使用正则表达式来实现。使用正则表达式有如下步骤。寻找规律。使用正则符号表示规律。提取信息。正则表达式的基础符号点号“.”一

python的一些基本使用python的数据类型列表元组和集合字典控制语句之条件语句和循环python的数据类型# 为a赋值,并且查看他的数据类型a = 5type(a)# 为b赋值,并且查看他的数据类型b = 3.4type(b)# 常量Πnp.pi# 自然底数np.e# 类型转化，将整数型转换成浮点型float(a)# 整除4//3# 余数6%2# 无穷值print("正无穷",float('inf'))print("负无穷",flo

Pandas时间序列练习题数据样式查看每一列的数据类型将Date这个列转换为datetime类型将Date设置为索引有重复的日期吗？将index设置为升序找到每个月的最后一个交易日(business day)数据集中最早的日期和最晚的日期相差多少天？在数据中一共有多少个月？数据样式查看每一列的数据类型apple.dtypes将Date这个列转换为datetime类型apple["Date"] = pd.to_datetime(apple["Date"])将Date设置为索引apple

Pandas的基本使用pandas的常用数据类型Series：一维，带标签的数组Series的创建方法Series常用的属性DataFrame：二维，Series容器DataFrame的创建方法DataFrame的常用属性和Series相同数据的获取和保存os包的简单使用读取csv文件读取excel文件保存成文件数据选择选择行或列使用条件查询数据的增删和修改删除插入修改数据库数据读取和保存需要导入的包pandas的常用数据类型Series：一维，带标签的数组由一组数据以及一组与之对应的数据标签即索引

Numpy的基本使用方法numpy属性和创建方法Numpy基本运算和常用方法Numpy的索引和数据的选择Numpy的合并、分割与复制​Numpy数组元素的添加和删除Numpy删除和去重Numpy字符串相关的处理​Numpy数学函数Numpy统计函数按轴进行获取最大值最小值 a = np.array([[3,7,5],[8,4,3],[2,4,9]]) aNumpy的IO操作numpy属性和创建方法# 导入numpy模块# 一般采用np简写import numpy as np # 定义一个二维数组

python--->关于Numpy的应用读取文件实现转置的三种方式numpy值的修改数组的拼接读取文件# 分隔符为 ‘，’，第一行不读，数据类型为intt1 = np.loadtxt('resource/data',delimiter=',',skiprows=1,dtype='int')#下面是转置t2 = np.loadtxt('resource/data',delimiter=',',skiprows=1,dtype='int',unpack=True)实现转置的三种方式t =

Python长宽表的转换使用melt将宽表转换成长表使用pivot_tbale将长表转换成宽表先创建一组数据data=pd.DataFrame({"Name":["苹果","谷歌","脸书","亚马逊","腾讯"], "Conpany":["Apple","Google","Facebook","Amozon","Tencent"], "Sale2013":[5000,3500,2300,2100,3100],