- 博客(5)
- 收藏
- 关注
RSS订阅原创 大数据面试知识点
大数据： 1.离线数仓【ERP、电商、业务清楚、】 1.业务熟悉 2.技术架构 3.数仓建设 4.指标【5个】 做过哪些指标 如何做的 2.spark工具： 1.技术架构 2.优点： 3.实时指标yarn ： 1.背景 2.好处 3.具体实现 3.回答技术点 【简历上的】 1.linux ： 1.pid port 2.tail -f -F 3.cat 4.环境变量： 个人 全局 5.常用的linux命令有哪些： ps -ef netstat free top tail 查看文件大小：l
2022-07-02 11:09:41
170
1
原创 学习笔记（4）
学习目标： 掌握 scrapy爬虫框架知识 学习内容： 爬虫的框架： scrapy ： An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式 2.安装部署 3.基本使用 1.创建一个项目 scrapy startproject test_scrapy 1.项
2022-04-09 10:29:33
49
原创 学习笔记（3）
学习目标： 掌握 Python爬虫知识 学习内容： 爬虫： 1.百度百科 2.自己理解： 通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析 2.爬虫是否合法？ 1.法律允许 2.有法律风险的 3.统一规定？ 【法律界限】 robots.txt协议 4.爬虫的分类： 1.获取一整张页面 【通用爬虫】 2.获取一整张页面 部分数据 【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】 5.爬虫的规则： 1.反爬策略： 门户网站 通过 技术手段 防止爬虫程序对页面爬取数据 2.反 反爬策
2022-04-09 10:22:43
48
原创 学习笔记（2）
学习目标： 掌握 Python函数知识 学习内容： 1.函数： 函数 =》方法 【区别不大】 scala 【有区别】 1.内置函数 【 常用类的api】 1.数学相关的 【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】 1.内置函数 【 常用类的api】 print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3])) import math print(math.sqr
2022-04-09 10:18:10
648
原创 学习笔记（1）
学习目标： 掌握 Python 入门知识 学习内容： ython: 1.概述： 1.语言 2.开发起来简洁 =》 java 2.使用场景： 1.数据分析 =》 numpy 、pandas 2.web 开发 =》 用的不多 、 百度 3.游戏开发 =》 用的不多 4.AI （机器学习、深度学习） 5.爬虫 1.安装： 1.python 原生的安装包 www.python.org 2.anaconda 安装 =》 1.python 有的 2.有一些丰富的第三方库 anaconda：
2022-04-09 10:14:53
56
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人