- 博客(32)
- 资源 (1)
- 收藏
- 关注
原创 MapReduce优化方法
MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
2024-06-27 09:30:02
869
原创 武汉市洪山区车管所提车流程
【道路交通事故认定书】:12123 App,【网办进度】- 定位湖北武汉 - 【已办结】准备材料:驾驶证/行驶证/交强险合同 复印件各一份,代办需要2份代办委托书。3)1楼6号窗口提交材料,拿【车辆返还通知单】(代办需要委托书)需要材料:驾驶证/行驶证/交强险 复印件,[代办委托书]需要材料:车辆返还通知单/身份证/行驶证/[代办委托书]开2张单子,一张给停车场,一张给1楼6号窗口。4)停车场继续办理提车,(代办需要委托书)5)办理完毕,保险公司对接4S店进场拖车。1)2楼处理交通事故。
2023-10-18 13:55:44
142
原创 西数机械硬盘读写测试
西数 到 本地硬盘,速度稳定在 100MB/s。USB 3.0 Micro-B 数据线。本地硬盘 到 西数硬盘,速度越来越慢。自己 to 自己,速度越来越慢。2T 机械硬盘,SATA接口。
2023-10-13 09:20:23
149
原创 东芝机械硬盘读写测试
从100MB/s 越来越慢,最后稳定在23MB/s。东芝机械硬盘 750G SATA接口。USB 3.0 Micro-B 数据线。到本地机械硬盘,速度稳定在83MB/s。本地硬盘到东芝硬盘,速度越来越慢。
2023-10-13 08:48:18
130
原创 网盘汇总集合
百度网盘、阿里云盘、OneDrive (SharePoint)腾讯微云、夸克网盘、Dropbox、GoogleDrive。迅雷云盘、PikPak、天翼云盘、移动云盘、115 网盘。115 网盘 - 15G。阿里云盘 - 500G。迅雷云盘 - 500G。天翼云盘 - 30G。移动云盘 - 20G。夸克网盘 - 10G。
2023-10-08 14:04:25
268
1
原创 Hive表数据同步至HBase
(2)利用 HBase 的 bulkload 命令移动 HFile 至合适的位置。(1)编写 Spark 程序转换原始数据为 HFile。
2023-08-30 19:48:29
190
1
原创 Cloudera Manager API
Post请求:/clusters/{clusterName}/services/{serviceName}/roleCommands/start。Post请求:/clusters/{clusterName}/services/{serviceName}/roleCommands/stop。获取某个服务的所有角色状态。
2023-08-22 11:35:34
246
1
原创 elasticdump文档数据导入和导出
1、--bulk=true参数只是指示elasticdump使用Bulk API进行批量导入操作。5、也可以全量导出所有索引的数据,如果数据过大需要大量时间,可以使用nohup命令后台执行。2、--limit参数设置每批次导入的文档数量,可以灵活控制导入的速度和资源消耗。4、-searchBody=设置查询条件(必须是转义后的json)1、index_type没有自定义可以不要。2、--type可以不要,默认就是data。3、--limit=每次批量导出数据的条数。
2023-08-18 09:01:13
572
1
原创 HTML网页特殊符号代码大全
直接使用往往是无法显示的,这时就必须使用它们对应的实体名称或实体数字才能显示(在大多数浏览器中默认的字符集为ISO-8859-1)。下面做了整理,以备速查(注意:代码对大小写敏感)。2、无法通过键盘输入但能表达某种特殊含义的字符。1、HTML的保留字符。
2023-08-02 14:02:07
474
原创 Dolphinscheduler海豚调度器
下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。:PostgreSQL (8.2.15+) 或者 MySQL (5.7+),两者任选其一即可,如 MySQL 则需要 JDBC Driver 8.0.16。注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark,但如果你运行的任务需要依赖他们,就需要有对应的环境支持。# 部署 DolphinScheduler。
2023-07-21 14:15:43
429
1
原创 HBase参数调优
内存大小:master默认为1G,可增加到2G,regionserver默认1G,可调大到10G,或者更大,zk并不耗资源,可以不用调整;HBase RegionServer 的 Java 堆栈大小(字节)HBase Master 的 Java 堆栈大小(字节)
2023-07-20 17:31:58
305
hadoop-1.2.1-安装配置手册(含安装介质)
2016-01-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人