2024年全国各省地级市GDP均值(除港澳台及直辖市)数据可视化实战_全国各省gdp数据csv(2)

最新推荐文章于 2024-09-18 09:43:14 发布

2401_84181626

最新推荐文章于 2024-09-18 09:43:14 发布

阅读量360

点赞数 4

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84181626/article/details/138613508

版权

程序员专栏收录该内容

153 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取


循环调用get\_page\_data函数获取所有页数据。

获取全部数据

def get_data():
df,pages = get_page_data(1)
for i in tqdm(range(2,pages+1,1)):
dfi,pages = get_page_data(i)
df = pd.concat([df,dfi])
df.to_csv(‘data.csv’,encoding=‘utf-8’,index=None)


##### 三、清洗数据


筛选出年份为2022年的数据。  
 去除GDP列自带的单位字符“亿”。  
 标准化省份数据，打通地区数据接口。

清洗数据

def clean_data(file_path):
df = pd.read_csv(file_path,encoding=‘utf-8’,dtype=str)
df = df[df[‘year’] == ‘2022’]
df[‘gdp’] = list(map(lambda x:float(str(x).rstrip(‘亿’)),df[‘gdp’]))
dict0 = {
‘重庆’:‘重庆市’,‘北京’:‘北京市’,‘天津’:‘天津市’,‘上海’:‘上海市’,
‘香港’:‘香港特别行政区’,‘澳门’:‘澳门特别行政区’,
‘内蒙古’:‘内蒙古自治区’,‘西藏’:‘西藏自治区’,
‘新疆’:‘新疆维吾尔自治区’,‘宁夏’:‘宁夏回族自治区’,‘广西’:‘广西壮族自治区’}
df[‘pro’] = list(map(
lambda x:str(x).lstrip(‘[’).partition(‘]’)[0],df[‘pro’]))
df[‘pro’] = list(map(
lambda x:dict0[x] if x in dict0.keys() else x +‘省’,df[‘pro’]))
return df


##### 四、聚合数据


按照省份对GDP进行求平均聚合。  
 对省平均GDP统一保留两位小数。

聚合数据

def work_data(df:pd.DataFrame):
df = df.groupby([‘pro’]).mean(‘gdp’).reset_index().sort_values(‘gdp’,ascending=False)
df.index = range(df.shape[0])
df[‘gdp’] = list(map(lambda x:round(x,2),df[‘gdp’]))
return df


##### 五、上传数据


启动伪分布式集群代码。

start-all.sh
mr-jobhistory-daemon.sh start historyserver
/opt/spark-3.5.0/sbin/start-all.sh
/opt/spark-3.5.0/sbin/start-history-server.sh
nohup hive --service metastore &


检测metastore(hive)端口是否启动成功。

netstat -anp|grep 9083

tcp6 0 0 :::9083 ::😗 LISTEN 9919/java


hive编写sql创建数据库。

create database myproject;


pyspark上传数据到metastore。

上传数据

def upload_data(df:pd.DataFrame):
global spark
spark = SparkSession.Builder(
).appName(‘test’).master(‘local[*]’)
.config(‘spark.sql.shuffle.partitions’,‘2’)
.config(‘spark.sql.warehouse.dir’,‘hdfs://ml:9000/user/hive/warehouse’)
.config(‘hive.metastore.uris’,‘thrift://ml:9083’
).enableHiveSupport().getOrCreate()
df = spark.createDataFrame(df)
spark.sql(‘drop table if exists myproject.data;’)
df.write.mode(‘overwrite’).saveAsTable(‘myproject.data’,‘parquet’)
df.show()


编写标准入口函数。

入口函数

def main():
try:
get_data()
except:
print(get_data())
df = clean_data(‘data.csv’)
df = work_data(df)
upload_data(df)
if name == ‘__main__’:
main()


上传代码到linux系统。

scp data.py root@ml:/root/ml/data.py


linux运行python代码。

cd /root/ml
/opt/anaconda3/envs/pyspark/bin/python /root/ml/data.py


此时hdfs文件系统/user/hive/warehouse/myproject.db/data路径下会产生一个snappy压缩格式列式存储的parquet文件part-00000-\*.snappy.parquet。


##### 六、数据端口


开启thrift数据端口。

/opt/spark-3.5.0/sbin/start-thriftserver.sh
–hiveconf hiveserver2.thrift.port=10000
–hiveconf hiveserver2.thrift.bind.host=ml
–master local[*]


检测数据端口状态

netstat -anp|grep 10000
tcp6 0 0 :::10000 ::😗 LISTEN 10555/java


##### 七、下载数据


通过pyhive编写标准jdbc代码连接metastore(hive)获取数据引擎。  
 通过pandas读取sparksql查询语句获取数据。

def download_data():
engine = hive.Connection(
host=‘ml’,port=10000,database=‘myproject’,
username=‘root’,password=‘ml123456’,auth=“LDAP”)
df = pd.read_sql_query(
‘select * from myproject.data;’,con=engine)
df = df.astype({‘pro’:str,‘gdp’:float})
return df
df = download_data()
df


##### 八、数据可视化


通过pyecharts的Map对象对数据进行可视化输出

def get_chart(df:pd.DataFrame):
pro = list(df[‘pro’])
gdp = list(df[‘gdp’])
# 构建包含省份和GDP的列表
List = [i for i in zip(pro, gdp)]
# 使用pyecharts创建地图
myMap = charts.Map()
myMap.add(
“2022年全国各省地级市GDP均值(除港澳台及直辖市)”, List, maptype=‘china’, is_map_symbol_show=False)