- 博客(8)
- 收藏
- 关注
RSS订阅原创 Linux 笔记
linux ：1.概述 1.为什么要使用linux ？ java、前端、大数据、算法 =》 app 服务器 =》 linux 2. 2.linux 概述： 1.文件操作系统： 层级式的文件操作系统 linux 最顶层目录：/ 3.linux版本： 广义 ： ubuntu、小红帽、centos、debian、等 基于linux 内...
2022-04-12 15:40:19
202
原创 数据处理 笔记
数据处理 ： 算子 map filter groupby apply数据切片pandas ： 1.官网 https://pandas.pydata.org/ 2.概述： pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, 【pandas就是一个数据分析的工具】 3...
2022-04-09 10:14:56
91
原创 爬虫框架 笔记
爬虫的框架：scrap ：1.An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式2.安装部署3.基本使用 1.创建一个项目 scrapy startproject test_scrapy 1...
2022-04-09 10:13:50
78
原创 大数据 笔记
大数据专业：面试：linux： tail -f F 区别hadoop： 读写流程、yarn、mapreduce【不会问的、shuffle】 hdfs： 小文件如何解决 nn ha yarn hahive： 1.sql 2.调优： 1.数据倾斜=》 join group by 2.使用过哪些参数flume：tail -f F 区...
2022-04-09 10:12:25
164
原创 爬虫 笔记
爬虫： 1.百度百科 2.自己理解： 通过代码、模拟浏览器上网 然后抓取数据的过程2.爬虫是否合法？ 1.法律允许 2.有法律风险的3.统一规定？ 【法律界限】 robots.txt协议4.爬虫的分类： 1.获取一整张页面 【通用爬虫】 2.获取一整张页面 部分数据 【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】5.爬虫的规则： 1.反爬策略： 门户网站 通过...
2022-04-09 10:10:58
78
原创 函数 笔记
1.函数： 函数 =》方法 【区别不大】 scala 【有区别】 1.内置函数 【 常用类的api】 1.数学相关的 【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】 1.内置函数 【 常用类的api】 print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3]))...
2022-04-09 10:09:59
41
原创 Python 笔记2
5.流程控制： 1.分支结构：if 2.循环： for、while 1.ifif_stmt ::= "if" assignment_expression ":" suite ("elif" assignment_expression ":" suite)* ["else" ":" suite]类型转换： # 1.类型转换n1 = 1print(n1)# print(n1+"1")prin...
2022-04-09 10:08:42
63
原创 Python 笔记1
Python: 1.概述： 1.语言 2.开发起来简洁 =》 java 2.使用场景： 1.数据分析 =》 numpy 、pandas 2.web 开发 =》 用的不多 、 百度 3.游戏开发 =》 用的不多 4.AI （机器学习、深度学习） 5.爬虫 1.部署安装： 1.安装： 1.python 原生的安装包 www.pyt...
2022-04-09 10:05:23
80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人