- 博客(6)
- 收藏
- 关注
RSS订阅原创 (使用IDEA打jar包）出现 Unknown lifecycle phase “‘-Dmaven.test.skip=true‘“.
1，在窗口输出这个命令 mvn -U clean package -pl mongodbreader -am assembly:assembly '-Dmaven.test.skip=true' 出现下面这个报错。这个是jar包打完之后会进行测试是测试的时候报的错，既然测试的时候报错，就不测了输入下面这段命令 mvn -U clean package -pl mongodbreader -am。
2024-09-12 20:17:02
91
原创 Kettle 如何从mysql到hive的导入 （以及会出现报错的解决办法）
我们再去点击测试的话就会弹出一个下面这样的窗口，出现这个窗口的话说明我们连接成功了。出现这个错误的原因是因为我们没有在选项中添加时区，所以我们要给他添加时区。我们还要在选项里设置时区，跟上面表输入的选项一样，没有时区的话就会报错。然后会弹出一个让你选择是否要包含字段这个看自己，选哪个都行。点击确认，表输出就搞完了。现在就连接成功了点击确认。
2024-09-12 19:59:28
131
原创 海豚调度器 DolphinScheduler 单机版,安装配置和使用 超详细(无缺点版)
单机模式（standalone）模式下，所有服务均集中于一个进程中，并且其中内置了和数据库。只需配置JDK环境，就可一键启动DolphinScheduler，快速体验其功能。
2024-09-09 19:34:44
724
原创 Pythont 爬虫
使用requests库的get方法发送GET请求，获取网页内容。：将获取到的网页内容转换为etree对象，方便后续解析。：调用pater函数，传入新的url参数，获取章节内容。：将获取到的章节内容转换为etree对象，方便后续解析。：定义一个名为pater的函数，接收一个url参数。：将获取到的网页内容（字节串）解码为字符串，并返回。：调用pater函数，传入url参数，获取网页内容。：根据当前链接在列表中的索引，获取对应的章节标题。：设置网站域名，用于拼接完整的章节链接。：拼接完整的章节链接。
2024-09-07 16:41:55
502
原创 大数据 面试 Shuffle 过程(必问)
1,是 MapReduce 的 Shuffle 过程 指的是 MapTask的后半程，以及ReduceTask 的前半程，共同组成的。2,从MapTask中map方法结束，到ReduceTask中的reduce方法开始，这个中间的部分就是Shuffle。是MapReduce的核心，心脏。
2024-09-07 16:41:11
159
原创 sqoop的安装与配置
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/installs/ 解压到了opt/installs的文件夹里。4,拷贝一个到 sqoop的lib 下 执行下面的命令 这个是全局的在哪执行都可以。拷贝 cp sqoop-env-template.sh sqoop-env.sh。解压完后切换到我们解压文件的那个文件夹 cd /opt/installs/进入到 cd /opt/installs/sqoop/conf。展示一个数据库中所有的数据库。
2024-09-07 14:15:44
295
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人