- 博客(9)
- 收藏
- 关注
RSS订阅原创 Mac 配置Hadoop、spark、Scala、jdk
注意：如果后面有进程没有启动成功时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。下载安装（此用到的是2.12版本)
2024-03-17 20:13:22
1419
1
原创 Python 列表-函数练习
one = [3,8,5,2,5] # 定义了一个one列表one.pop(0) # 使用pop函数（携带被删除的元素可用于储存变量；例如 a = one.pop(0)）one.pop(-1) # -1 则为最后一个元素 列表[0,1,2,3] 或 [-4,-3,-2,-1]one = [3,8,5,2,5] # 定义了一个one列表for a in one: # 遍历one列表 赋值给 a变量if a % 2 == 0: # 数值除以2取余（ % ） 没有余数则是偶数。
2024-03-15 21:53:26
408
1
原创 Mac m1 Scala 安装 及 配置IDEA使用Scala
注意：低版本的Scala与高版本的jdk 不适配，Scala会报错，本人使用的是jdk1.8。会显示出 scala 的版本号，如果没有配置成功就会提示没有scala命令。然后保存（按 shift 加 ： 输入wq ）+ 回车。终端输入 scala 会进入 scala>在终端输入以下命令(如果第一次配置是一个新文件)
2024-03-06 19:37:00
634
原创 MacBook Pro (m1) 安装 Miniforge3 安装 Jupyter notebook 使用python。
1_1.下载Miniforge3-MacOSX-arm64（适用于 M1芯片的 arm64版本）。找到版本点击下载，接着进行下一步。1_2.找到下载好的文件地址，打开Mac终端 输入注意：1.过程中回车建议按慢一点.2.安装过程中会有yes/no选择，按自己需要选择（一般都全yes）.
2024-03-01 13:37:28
1466
原创 sqoop导出导入mysql,hive乱码以及只有部分数据。
如果不是图1-1这样就需要改，或者在每次导出导入的时候添加?两个库的编码保持一直，如hive这边的编码是utf-8，mysql也要为utf-8,($代表命令)直接修改，就可以不用每次都添加?最后看一下是否为图1-1一样，否则没有修改成功。1.1检查mysql的编码。在[mysqld]下面添加。保存退出，重启mysql。
2023-12-04 10:05:15
552
原创 sqoop从hive导出到mysql卡在一直卡在INFO mapreduce.Job: Running job,改容量不行试试这个方法。
1-1.用$hadoop job -list查看进程，当时本人遇到已经是011了，初始是001.1.如果之前可以运行，大概率排除配置问题，先考虑是否进程过多一直在排队，($代表是命令)1-2.用$hadoop job -kill杀掉进程，再运行试一下。1-3.如果还不行就再重启一次，大概率就解决了。
2023-12-04 09:28:10
630
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人