- 博客(31)
- 收藏
- 关注
转载 MapReduce任务参数调优
conf.set("mapreduce.job.reduce.slowstart.completedmaps", "0.8");【在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致reduce一直在copy状态等待。也就是说map需要资源去跑,reduce需要等map全部跑完才能进行下一个
2020-07-30 16:05:44
335
原创 MapReduce任务报 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:
1. 执行任务前,在shell脚本里已删除损坏的块./hdfs fsck /.../ -delete任务仍然失败了,报这个异常。检查块还是健康的./hdfs fsck /.../ -files2. 通信问题可能导致这个异常追根溯源package org.apache.hadoop.hdfs;package org.apache.hadoop.hdfs;...
2020-03-26 19:07:19
1040
1
原创 layui table 返回的数据不符合规范,正确的成功状态码应为:"code": 0
搭建了本地 json-server 服务器后,用了 layui 官方提供的表格 json 数据,但是服务启动的时候一直报错,于是删掉了框选的部分,仅保留data部分,可正常访问。本地可获取到 json 数据了,layui 表格呈现后显示如标题错误,于是找到了下图中的解决办法。参考链接:https://blog.csdn.net/weixin_42143048/ar...
2020-03-26 16:54:29
2974
翻译 搭建本地 json-server 服务器
在练习 layui 内置模块表格的时候,需要用到json数据1. 全局安装 cnpm install json-server -g2. 新建一个JsonServer文件夹,cmd 进入此文件夹,执行 npm init3. 再执行 cnpm install json-server --save4. 配置 package.json (json:server 服务启动后,在 JsonS...
2020-03-26 16:39:27
468
转载 Sublime - there are no packages available for installation
保存文件:https://packagecontrol.io/channel_v3.json
2020-03-25 14:33:01
136
原创 Vue项目启动时设置谷歌浏览器
https://webpack.js.org/configuration/dev-server/#devserver-watchoptions-此时,index.js中那个值是false也没影响,项目启动后,自动打开谷歌浏览器。
2020-03-19 13:55:58
3010
3
原创 Chrome安装Vue.js devtools过程
1. 将后缀.crx的文件改成可解压的.rar文件2. 解压.rar文件3. 打开扩展程序界面(chrome://extensions/),开启“开发者模式”,加载已解压的扩展程序4. 插件安装成功后,点击“详细信息”,开启“允许访问文件网址”5. 关闭“开发者模式”,否则会出现提示。6. 在引用了vue.js的情况下,控制台Vue组件不出现,在代码中加...
2020-03-14 18:28:44
168
原创 Linux 设置 java.io.tmpdir
export _JAVA_OPTIONS=-Djava.io.tmpdir=/home/tmp/注意区分 JAVA_OPTS 与 _JAVA_OPTIONS
2020-03-06 19:43:55
3809
翻译 Tomcat内存监控
首先,确认服务目录webapps下有manager应用其次,需要创建角色manager和对应的用户,修改/conf/tomcat-users.xml然后,浏览器输入网址:http://IP:port/manager/status 帐号/密码:admin/admin登录点击Server Status查看JVM内存使用情况Free memory:当前可用的内存;Tota...
2019-12-25 16:31:52
1136
转载 查看服务器CPU的个数、CPU的核数、多核超线程数
这里有几个概念:1、一台物理机的物理CPU的个数2、一个CPU上的核数3、一个核上面支持的线程数有下面的计算公式:# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数CPU架构多个物理CPU,各个CPU通过总线进行通信,效率比较低,如下:多核CPU,不同的核通过L2 cac...
2019-12-25 16:10:20
861
转载 CPU概念详解
1.说明CPU(Central Processing Unit)是中央处理单元,本文介绍物理CPU,物理CPU内核,逻辑CPU,以及他们三者之间的关系,一个物理CPU可以有1个或者多个物理内核,一个物理内核可以作为1个或者2个逻辑CPU。2.物理CPU物理CPU就是计算机上实际安装的CPU,物理CPU数就是主板上实际插入的CPU数量。在Linux上查看/proc/cpuin...
2019-12-25 15:57:02
694
原创 虚拟机网络设置--NAT
1. 如果主机上没有VMmet1和VMnet8,点击“虚拟网络编辑器”中的【恢复默认设置】。2. 虚拟机设置NAT模式;启用主机上的VMnet8。3. 如图
2019-12-24 17:31:06
180
原创 本地连接Hbase报java.io.IOException: java.lang.reflect.InvocationTargetException
java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240) at org.apache.hadoop.hbase.cli...
2019-05-27 10:20:17
2720
原创 .dmp文件的导出与导入
exp prophet/prophet@orcl file=d:\c.dmp tables=(表1,表2) 导出.dmp文件导入.dmp文件必须是DBA权限
2018-12-18 13:39:27
267
原创 操作系统快捷键
Win+D: 快速显示桌面Win+E: 快速打开资源管理器Win+R: 快速运行Win+X: 命令窗口(管理员)Win+Tab: 切换窗口 Ctrl+Alt+Del: 显示以下选项:锁定该计算机、切换用户、注销、更改密码和启动任务管理器...
2018-12-18 13:37:25
268
原创 Linux查看内存和磁盘以及CPU信息
查看CPU个数cat /proc/cpuinfo | grep "physical id" | uniq | wc -l查看CPU核数cat /proc/cpuinfo | grep "cpu cores" | uniq查看CPU情况cat /proc/cpuinfo | grep 'model name' |uniq查看内存总量 grep MemTotal /proc/mem...
2018-12-18 13:32:07
621
原创 查看端口被占用
在windows命令行窗口下执行:>netstat -aon | findstr "80"TCP 127.0.0.1:80 0.0.0.0:0 LISTENING 2448 端口被进程号为2448的进程占用,继续执行下面命令:>tasklist | findstr "2448"thread.exe...
2018-02-22 10:24:56
106
原创 Navicat常用快捷键
1. ctrl + q:打开新查询窗口2. ctrl + /:注释3. ctrl + shift + /:取消注释4. ctrl + w:关闭当前窗口 5. ctrl + l:删除一行6. ctrl + shit + r:只运行选中的语句7. ctrl + r:运行当前窗口内的所有语句8. ctrl + d:在表数据窗口上查看表定义...
2018-02-22 10:18:04
189
原创 Axis2开发WebService客户端——RPC方式
package client;import javax.xml.namespace.QName;import org.apache.axis2.addressing.EndpointReference;import org.apache.axis2.client.Options;import org.apache.axis2.rpc.client.RPCServiceClient;/** * 在创...
2015-12-29 18:17:07
516
原创 Win Server 2008 R2 安装 Oracle 10g
1、修改Oracle 10g(安装文件)\database\stage\prereq\db\refhost.xml 添加:<OPERATING_SYSTEM> <VERSION VALUE="6.1"/> <SERVICE_PACK VALUE="1"/> </OPERATING_SYSTEM> 2、找到in...
2015-12-11 20:21:04
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人