skytn-CSDN博客

原创笔记（10）

学习目标掌握Linux相关知识学习内容linux模板机：1. ip 动态ip =》静态ip1.内网2.学习方便2.关闭防火墙：1-65535关闭防火墙3.额外的安装包：1.jdk =》卸载掉2.mysql =》 mysql自带的额外包【安装mysql 去掉就行】【superset mysql自带的额外包】ip：1.win =》 vmware ：1.子网ip 1-255192.168.10.02.网关192.168.10.22.linux => 静态i.

2022-04-18 18:58:20 50

原创笔记（9）

学习目标掌握linux相关知识学习内容tar ：linux 处理归档文件的命令归档文件：普通文件：1.log 1m归档文件：1.log.tar 1m压缩文件：1.log.tar.gz 0.9m1.普通 =》压缩归档文件1.log =》1.log.tar.gztar -zcvf xxx.tar.gz file…-cf => 创建一个新归档 + 使用归档文件z => 压缩 gzv =》详细地列出处理的文件eg:[root@sygy10 ~]#.

2022-04-18 18:57:14 59

原创笔记（8）

学习目标掌握数据探索和数据预处理相关知识学习内容数据探索+ 数据预处理数据探索：1.统计量分析：1.集中趋势的度量：1.均值、中位数、众数2.离散趋势的度量：极值()极差标准差、方差四分位数间距2.相关性分析：通过散点图获取相关系数数据预处理：补充：数据透视表也可以对数据进行分析【聚合统计】group by +agg案例：客户价值分析（用户画像 =》类似）1.基本理论：1.RFM模型2.聚类分析（机器学习里面的算法 =》结果标签.

2022-04-18 18:55:40 49

原创笔记（7）

学习目标：掌握 matplotlib 知识学习内容：matplotlib:1.官网https://matplotlib.org/2.概述：Matplotlib is a comprehensive library for creating static, animated, and interactive visualizations in Python.Matplotlib就是一个数据可视化的东西和大数据数据可视化有区别【Matplotlib他是一个数据挖掘的辅助工具】

2022-04-09 11:56:22 1099

原创笔记（6）

学习目标：掌握 Pandas 知识学习内容：数据处理：算子 map filter groupby apply数据切片pandas ：1.官网https://pandas.pydata.org/2.概述：pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool,【pandas就是一个数据分析的工具】3.编程模型【数据类型】1.S

2022-04-09 11:52:25 41

原创笔记（5）

学习目标：掌握机器学习入门知识学习内容：机器学习：1.概念Simple and efficient tools for predictive data analysis【预测数据分析结果】用机器代替人做决策数据集 =》训练 =》模型 2.Built on NumPy, SciPy, and matplotlib、pandas2.机器学习里面的常用术语：1.数据集准备色泽= 绿色、根=弯曲、敲声 = 浑浊 =》熟的色泽= 黑色、根=弯曲、

2022-04-09 11:50:25 55

原创笔记（4）

学习目标：掌握 scrapy爬虫框架知识学习内容：爬虫的框架：scrapy ：An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way.1.开源的爬虫框架2.快速、简单、高效的方式2.安装部署3.基本使用1.创建一个项目scrapy startproject test_scr

2022-04-05 12:33:59 43

原创笔记（3）

学习目标：掌握 Python爬虫知识学习内容：爬虫：1.百度百科2.自己理解：通过代码、模拟浏览器上网然后抓取数据的过程数据解析2.爬虫是否合法？1.法律允许2.有法律风险的3.统一规定？【法律界限】robots.txt协议4.爬虫的分类：1.获取一整张页面【通用爬虫】2.获取一整张页面部分数据【聚焦爬虫】3.检查页面更新、获取页面最新的更新的数据【增量式爬虫】5.爬虫的规则：1.反爬策略：门户网站通过技术手段防止爬虫程序对页面爬取数据2.反

2022-04-05 12:30:13 59

原创笔记（2）

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2022-04-05 12:26:19 52

原创笔记（1）

学习目标：掌握 Python 入门知识学习内容：Python:1.概述：1.语言2.开发起来简洁 =》 java2.使用场景：1.数据分析 =》 numpy 、pandas2.web 开发 =》用的不多、百度3.游戏开发 =》用的不多4.AI （机器学习、深度学习）5.爬虫1.部署安装：1.安装： 1.python 原生的安装包 www.python.org 2.anaconda 安装 =》 1.python 有的 2.有一些丰富的第三方库

2022-04-05 12:20:46 68

skytn的博客