- 博客(10)
- 收藏
- 关注
RSS订阅原创 hdfs 副本数问题
MapReduce有一个设置临时目录副本数的参数mapreduce.client.submit.file.replication=10。查阅资料这个参数的作用是，当集群规模比较大，且启动的map和reduce数量较多时，可充分利用数据本地性这一特性提高性能。解决方法：mapreduce.client.submit.file.replication=10（默认值）导致的问题。MapReduce的临时路径参数yarn.app.mapreduce.am.staging-dir。
2023-06-03 15:04:17
282
原创 kettle使用细节
你系统地知道有哪些类型的数据库么？你知道有几种数据库的连接方式么？你知道不同数据库类型的连接参数有哪些么？你知道如何更好地进行数据源管理么？
2023-05-31 11:18:01
163
1
原创 mysql 字段类型修改
在修改数据类型之前，请确保这样操作无法影响到数据的一致性和完整性。如果数据已存在，则修改数据类型可能会导致数据丢失或急剧变化。
2023-05-30 17:39:20
20822
1
原创 Hadoop集群的四个配置文件的常用属性解析
4个site，3个env，一个masters，一个slaves。masters 可以不用变 如果主机名没改变。salaves 要加入其他奴隶（主机名）以下要配置JAVA_HOME=
2023-05-25 18:07:47
281
1
原创 linux 正则表达式
正则表达式常搭配命令 grep、awk、sed、cut，表达式用" "括起来，否则里面的特殊字符会表达其它含义。]、[ a-z ] 、{a,b,c}、{a..z} ，没有单独的开头结尾符号。，是表示前面字符出现的次数，同时要写成 grep -E "^[0-9]{3} " 或者 egrep。[ a-z ] 、{a..z} 意思一样 从a到z连续字符。通配符常搭配命令是ls、find、cp、mv。中，{ a..z }可以用来表示连续的字符，内容：通配符、正则表达式 字符及案例。
2023-05-16 19:59:03
164
1
原创 crontab 每 30 秒自动执行 笔记
一段, 即先执行 “sleep 30”, 先等待 30 秒再执行 /root/my-script.sh, 那便可以达到每 30 秒执行的效果。如果需要将自动执行时间设定为少于 1 分钟, 或者以秒数为单位, 可以通过 crontab 配合 sleep 指令完成, 或者建立一个 shell script 再配合 sleep 实现。另一个方法是透过 Shell Script 实现, 如果要设定自动执行的间隔很频密, 例如每 5 秒执行一次, 我较建议这个方法。
2023-05-16 19:40:13
4447
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人