fsafgfhujff-CSDN博客

原创初识开窗函数

.开窗函数 1.聚合函数：多行数据按照一定规则进行聚合为一行 sum avg max 。。。理论上：聚合后的行数 <= 聚合前的行数 [看维度选取 groupby 里面的字段] 2.需求：既要显示聚合前的数据又要显示聚合后的数据？ eg： id name sal dt sal_all 1 zs 1000 2022-4 1000 2 ls 2000 2022-4 2000 3 ww 3000 2022-4 3000 1

2022-04-18 17:45:48 146

原创初识shell

1.什么是shell ？脚本语言 python 1.一个编程的语言 2.可以执行的文件 3.文件内容 linux命令组成的 1.shell语法入门 1.入门 1.文件 xxx.sh 结尾 2.第一行 #!/bin/bash 1.编写脚本 vim wc.sh 2.得有执行权限【不一定】 1.不给文件权限 sh xxx.sh [root@sygy10 shell]# sh ./wc.sh word count [root@sygy10 shell]# cat wc.sh #!

2022-04-18 17:36:44 78

原创 linux基本指令

基本命令： 1.mv + cp 1.mv 剪切 2.cp 复制 mv =》文件个数始终是1分 cp =》文件个数始终是2分 1.移动 [root@sygy10 bigdata]# mv 1.log ../1.log [root@sygy10 bigdata]# cp ~/1.log ./ 2.改名字 [root@sygy10 ~]# mv 1.log 1.log_blk [root@sygy10 ~]# cp 1.log_blk 1.log 标准写法： mv xx.log

2022-04-18 17:30:15 143

原创初识matplotlib

标题matplotlib: 1.绘图 2.图表：属性线条：颜色、样式、数据点图表额外：轴标签(x,y)、图例、标题 3.有哪些图表：折线图、柱状图、散点图、饼状图。。。 4 matpoltlib 编程模型： 1.Figure 画布 2.Axes 图表部分代码展示花sin图像 x = np.linspace(0, 2 * np.pi, 200) y = np.sin(x) fig, ax = plt.subplots() ax.plot(x, y)

2022-04-10 00:24:49 82

原创初识pandas

pandas 1.Series 1.Series is a one-dimensional labeled array 【Series 就是一个一维标签数组】 2.capable of holding any data type 【integers, strings, floating point numbers, Python objects, etc.).】【存各种数据类型】 3.The axis labels are collectively referred to as the index

2022-04-10 00:10:43 66

原创 numpy

numpy 1.创建一维数组： 1.数据类型转化 2.内置函数 np1_arr = np.array([1,2,3,4,5]) # np arr 数据类型转换 print(np1_arr.dtype) print(np1_arr.itemsize) #调整元素的数据类型 np1_arr1 = np.array([1, 2, 3, 4, 5],dtype=np.int64) print(np1_arr1.dtype) print(np1_arr1

2022-04-09 23:46:59 535

原创初识机器学习

机器学习： 1.概念 Simple and efficient tools for predictive data analysis 【预测数据分析结果】用机器代替人做决策数据集 =》训练 =》模型 2.Built on NumPy, SciPy, and matplotlib、pandas 2.机器学习里面的常用术语： 1.数据集准备色泽= 绿色、根=弯曲、敲声 = 浑浊 =》熟的色泽= 黑色、根=弯曲、敲声 = 沉闷 =》生的色泽= 红色、根=弯

2022-04-09 23:30:34 60

原创初识scrap框架

1.爬虫的框架： scrap ： An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式 2.基本使用 1.创建一个项目 scrapy startproject test_scrapy 1.项目目录： 1.scrapy.cfg 【项目的配置文件

2022-04-02 11:28:16 690

原创 xpath爬虫二手房案例代码

import requests from lxml import etree if name == ‘main’: # ua 伪装 =》模拟浏览器上网 headers = { “User-Agent”: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36’ } url = "https://dl.58.com/ershoufa

2022-04-02 11:23:13 1787

y1366210615的博客