转载 MapReduce任务参数调优

conf.set("mapreduce.job.reduce.slowstart.completedmaps", "0.8");【在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等待。也就是说map需要资源去跑，reduce需要等map全部跑完才能进行下一个

原创 MapReduce任务报 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

1. 执行任务前，在shell脚本里已删除损坏的块./hdfs fsck /.../ -delete任务仍然失败了，报这个异常。检查块还是健康的./hdfs fsck /.../ -files2. 通信问题可能导致这个异常追根溯源package org.apache.hadoop.hdfs;package org.apache.hadoop.hdfs;...

原创 layui table 返回的数据不符合规范，正确的成功状态码应为："code": 0

搭建了本地 json-server 服务器后，用了 layui 官方提供的表格 json 数据，但是服务启动的时候一直报错，于是删掉了框选的部分，仅保留data部分，可正常访问。本地可获取到 json 数据了，layui 表格呈现后显示如标题错误，于是找到了下图中的解决办法。参考链接：https://blog.csdn.net/weixin_42143048/ar...

翻译 搭建本地 json-server 服务器

在练习 layui 内置模块表格的时候，需要用到json数据1. 全局安装 cnpm install json-server -g2. 新建一个JsonServer文件夹，cmd 进入此文件夹，执行 npm init3. 再执行 cnpm install json-server --save4. 配置 package.json （json:server 服务启动后，在 JsonS...

原创 Sublime自定义快捷键

Preferences - 按键绑定 - 用户

转载 Sublime - there are no packages available for installation

保存文件：https://packagecontrol.io/channel_v3.json

原创 Vue项目启动时设置谷歌浏览器

https://webpack.js.org/configuration/dev-server/#devserver-watchoptions-此时，index.js中那个值是false也没影响，项目启动后，自动打开谷歌浏览器。

原创 解决谷歌浏览器闪黑屏问题

设置 - 高级关闭“使用硬件加速模式（如果可用）”

原创 Chrome安装Vue.js devtools过程

1. 将后缀.crx的文件改成可解压的.rar文件2. 解压.rar文件3. 打开扩展程序界面（chrome://extensions/），开启“开发者模式”，加载已解压的扩展程序4. 插件安装成功后，点击“详细信息”，开启“允许访问文件网址”5. 关闭“开发者模式”，否则会出现提示。6. 在引用了vue.js的情况下，控制台Vue组件不出现，在代码中加...

原创 Linux 设置 java.io.tmpdir

export _JAVA_OPTIONS=-Djava.io.tmpdir=/home/tmp/注意区分 JAVA_OPTS 与 _JAVA_OPTIONS

翻译 Tomcat内存监控

首先，确认服务目录webapps下有manager应用其次，需要创建角色manager和对应的用户，修改/conf/tomcat-users.xml然后，浏览器输入网址:http://IP:port/manager/status 帐号/密码:admin/admin登录点击Server Status查看JVM内存使用情况Free memory:当前可用的内存；Tota...

原创 MyEclipse 2017 CI 中Tomcat8内存设置

1. 双击服务器进入下图2. 设置内存

转载 查看服务器CPU的个数、CPU的核数、多核超线程数

这里有几个概念：1、一台物理机的物理CPU的个数2、一个CPU上的核数3、一个核上面支持的线程数有下面的计算公式：# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数CPU架构多个物理CPU，各个CPU通过总线进行通信，效率比较低，如下：多核CPU，不同的核通过L2 cac...

转载 CPU概念详解

1.说明CPU(Central Processing Unit)是中央处理单元，本文介绍物理CPU，物理CPU内核，逻辑CPU，以及他们三者之间的关系，一个物理CPU可以有1个或者多个物理内核，一个物理内核可以作为1个或者2个逻辑CPU。2.物理CPU物理CPU就是计算机上实际安装的CPU，物理CPU数就是主板上实际插入的CPU数量。在Linux上查看/proc/cpuin...

原创 EditPlus换行、UE换行

原创 虚拟机网络设置--NAT

1. 如果主机上没有VMmet1和VMnet8，点击“虚拟网络编辑器”中的【恢复默认设置】。2. 虚拟机设置NAT模式；启用主机上的VMnet8。3. 如图

原创 MyEclipse启动Tomcat报java.lang.OutOfMemoryError: PermGen space

原创 本地连接Hbase报java.io.IOException: java.lang.reflect.InvocationTargetException

java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240) at org.apache.hadoop.hbase.cli...

原创 MyEclipse设置编码

一、全局设置二、文件默认编码设置

原创 .dmp文件的导出与导入

exp prophet/prophet@orcl file=d:\c.dmp tables=(表1，表2)  导出.dmp文件导入.dmp文件必须是DBA权限

原创 操作系统快捷键

Win+D: 快速显示桌面Win+E: 快速打开资源管理器Win+R: 快速运行Win+X: 命令窗口（管理员）Win+Tab: 切换窗口                        Ctrl+Alt+Del: 显示以下选项：锁定该计算机、切换用户、注销、更改密码和启动任务管理器...

原创 spark on yarn 停止方式

yarn application -kill appid

原创 Linux查看内存和磁盘以及CPU信息

查看CPU个数cat /proc/cpuinfo | grep "physical id" | uniq | wc -l查看CPU核数cat /proc/cpuinfo | grep "cpu cores" | uniq查看CPU情况cat /proc/cpuinfo | grep 'model name' |uniq查看内存总量 grep MemTotal /proc/mem...

原创 查看端口被占用

在windows命令行窗口下执行：>netstat -aon | findstr "80"TCP    127.0.0.1:80        0.0.0.0:0              LISTENING      2448 端口被进程号为2448的进程占用，继续执行下面命令：>tasklist | findstr "2448"thread.exe...

原创 Navicat常用快捷键

1. ctrl + q：打开新查询窗口2. ctrl + /：注释3. ctrl + shift + /：取消注释4. ctrl + w：关闭当前窗口 5. ctrl + l：删除一行6. ctrl + shit + r：只运行选中的语句7. ctrl + r：运行当前窗口内的所有语句8. ctrl + d：在表数据窗口上查看表定义...

原创 Eclipse常用快捷键

Ctrl+Shift+L  显示所有快捷键

原创 Eclipse中调内存

-Xms256M -Xmx1024M -XX:PermSize=64M -XX:MaxPermSize=256M                                                                                            

原创 如何清除Eclipse内置浏览器缓存？

删除下图目录中画框文件，重启Eclipse即可。 

原创 Axis2开发WebService客户端——RPC方式

package client;import javax.xml.namespace.QName;import org.apache.axis2.addressing.EndpointReference;import org.apache.axis2.client.Options;import org.apache.axis2.rpc.client.RPCServiceClient;/** * 在创...

原创 LoadRunner11对Java项目中类及其他相关jar包的引用

LoadRunner11对Java项目中类及其他相关jar包的引用

原创 Win Server 2008 R2 安装 Oracle 10g

1、修改Oracle 10g（安装文件）\database\stage\prereq\db\refhost.xml 添加：<OPERATING_SYSTEM>      <VERSION VALUE="6.1"/>      <SERVICE_PACK VALUE="1"/> </OPERATING_SYSTEM> 2、找到in...