就就就就就是不吃茄子-CSDN博客

原创 Airflow搭建与应用

AirflowPython3的安装#下载Python3包wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgztar -zxvf Python-3.6.5.tgzcd Python-3.6.5#安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-d

2022-01-19 17:56:05 1831

原创 Flink入门搭建

一、Flink简介 1.Flink的引入大数据的计算引擎的发展过程：第一代计算引擎：Hadoop的MapReduce，批处理第二代计算引擎：支持DAG（有向无环图）的框架，如Tez和Oozie，批处理第三代计算引擎：spark，内存计算，支持批处理和流处理，Job内部的DAG支持（不跨域job），比MR快100倍第四代：Flink批处理、流处理，SQL高层api，自带DAG流式计算性能更高、更可靠什么是 2.什么是Flink Flink是一个框架和分布..

2021-11-14 21:17:09 2356

原创 Python爬取腾讯动漫（仅限免费部分）

爬取网站动漫 - 腾讯动漫官方网站 - 首页漫画强势推荐初步分析所有漫画的链接都在<li>中，链接都为错误提示 - 腾讯动漫"编码" 进入漫画，分析页面所有的漫画章节链接都在一个页面中全部被包含。1个<li>包含5个<pi>,1个<pi>包含4个<span>,1个<span>中存储一个章节。所以1个<li>对应腾讯漫画每20个一组的分组...

2021-10-31 20:54:04 2241 1

原创 Kettle入门教程

通过案例熟悉一下kettleKettle安装[官网各个版本下载](https://sourceforge.net/projects/pentaho/files/)，官网较慢，推荐国内镜像下载压缩到本地：不要有中文路径双击spoon.bat开始使用初次使用准备好mysql-connect的jar包，和自己的hive用来JDBC版本一直案例把stu1数据按id同步到stu2，有相同id stu2就更新 1.启动mysql(linux)

2021-10-31 20:50:24 296

原创当当网Python图书数据分析

1.检视网页爬虫要看是否允许爬取进入页面，输入python进行搜索，查看源码 xpth查看，//ul[@class="bigimg"]/li，里面包含的是全部的信息，我们需要将标题'链接,价格,作者,出版时间,评论数,简介全部分类爬取标题尝试2页 def parse_page(response): tree = etree.HTML(response.text) li_list = tree.xpath('//ul[@c.

2021-10-22 08:33:40 2803

原创基于互联网的招聘信息统计与分析（作业）

实习要求： ** 一、基于互联网的招聘信息统计与分析：** 项目流程 1.项目简介：该项目通过挖掘和分析互联网的招聘信息，并将进行数据统计与分析，把不同的岗位薪酬，相同岗位的不同待遇等方面进行对比。可以直观的感受岗位、薪资和就业前景，更加直观的展望行业的未来，把握就业的最新动态。 2.数据来源： Python爬取拉钩招聘网的关于python岗位的招聘信息。 3.环境搭建我使用的是原有的教学中的node-01、node-02、node-03基础上克隆一台node

2021-10-08 20:49:17 1495 3

原创大数据平台搭建

1.创建虚拟机 1.虚拟机 2.查看虚拟机网络配置范围 3.设置虚拟机主机在每台虚拟机上作如下配置 node-01 修改完保存退出并重启所有的虚拟机查看ip地址配置，及连通内外网的情况 2.用ssh工具SecureCRT连接虚拟机 1.安装lrzsz ..

2021-10-08 20:34:05 163

qq_48967283的博客