- 博客(48)
- 收藏
- 关注
RSS订阅转载 Apache pig写数据至Elasticsearch
Elasticsearch提供了打通Hadoop生态圈和Elasticsearch的jar包，很方便，下载地址：https://www.elastic.co/cn/downloads/hadoop对于Elasticsearch版本是否要和jar包一致，我没有做过验证，直接用的对应一致的版本。...
2019-07-30 01:10:00
324
转载 pig脚本求和排序取TOP
有一需求，在HDFS数据上分组聚合累加一列的值，汇总后排序取TOP，pig脚本思路如下：假设有如下数据在HDFS上：cat city.txt: wh 500 bj 600 wh 100 sh 400 wh 200 bj 100 sh 200 bj ...
2019-07-30 00:41:00
504
转载 pig无法加载本地文件解决小记
今天测试pig的一个小用法需要加载本地文件，又是第一次用pig，结果本地文件读取不到，后经搜索得到需要在pig命令行模式下加载本地根目录： grunt> ls / 这样，重新运行，就可以得到本地文件了 附上解决方案来源：https://www.cnblogs.com/jamesf/...
2019-07-29 22:27:00
444
转载 HDFS查看文件内容
随机返回指定行数的样本数据Hadoop fs -cat /path/txt | shuf -n 5返回前几行的样本数据hadoop fs -cat /path/txt | head -100返回最后几行的样本数据hadoop fs -cat /path/txt | tai...
2019-07-24 15:52:00
23402
转载 Hive的数据存储
Hive中所有的数据都存储在HDFS中，没有专门的数据存储格式（可支持Text、SequenceFile、ParquetFile、RCFILE等）。只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。Hive中包含以下数据模型： DB、Table、Exte...
2019-07-22 16:56:00
295
转载 Elasticsearch的JVM的配置
JVM配置修改JVM - config/jvm.options7.1下载的默认配置是1GB配置的建议Xmx和Xms设置成一样Xmx不要超过机器内存的50%不要超过30GBhttps://www.elastic.co/cn/blog/a-heap-of-troubl...
2019-06-29 07:32:00
1069
转载 关于nohup在连接断开后进程退出的小记
工作中遇到了迁移数据库的操作，sql文件30G，当然不能搞到本地用Navicat导入，要通过命令导入。 由于文件比较大，防止因为网络中断导致连接断开而终止进程，要用的nohup. 首先写个导数据的脚本，这里假设命名为mysqlmiport.sh , 内容如下： mysql -uroot...
2019-06-04 20:01:00
1881
转载 mysql通过source恢复大表小记
最近迁移一个数据库，500多张表大概600多万条数据，通过navicat导出的数据，再通过source命令导入到mysql8.0 之前也做过类似的工作，但是却从来没有这么慢过，一个小时了还没有完成，之前在笔记本上做相同的数据量大概也就5分钟搞定，不过笔记本上跑的是mariadb，也做过其他机...
2019-05-21 20:45:00
557
转载 mysql语句执行顺序
mysql语句执行顺序1.sql的顺序from->join->on->where->group by->avg\sum...->having->select->distinct->order by2.mysql的语句结构<SE...
2019-05-07 17:14:00
147
转载 centos7编译安装MySQL8问题记录
centos7是通过最小安装形式安装的 已经安装好gcc相应的版本，官网要求最低gcc5.3。 在cmake的时候，报了如下错误: Please install the appropriate openssl developer package. 解决的方案是安装两个包： yum i...
2019-04-09 19:37:00
782
转载 centos7升级gcc
centos7自带的gcc版本是4.8,通过gcc官网安装手册可知，依赖文件太多了，手动升级安装太繁琐。可以通过安装devtoolset的方式间接升级gcc至高版本 sudo yum install centos-release-sclsudo yum install devtoolse...
2019-04-09 19:21:00
325
转载 centos强行卸载系统自带依赖包
有的时候卸载rpm包会被阻止，因为要卸载的包被其他包依赖，因此我们需要忽略依赖强制卸载 rpm -e --nodeps packagename 转载于:https://my.oschin...
2019-04-03 11:36:00
523
转载 Java8 lambda表达式小记
只有函数式接口才可以用Lambda表达式实现。 按照Java8函数式接口的定义，其只能有一个抽象方法，否则就不是函数式接口，就无法使用Lambda表达式。 可以使用@FunctionalInterface标注函数式接口，在编译时提前发现错误。 reference java中lam...
2019-03-31 23:48:00
81
转载 gitlab配置https方式访问
前提：gitlab我安装的版本是13.*，已可以通过域名访问。mkdir /etc/gitlab/sslcp server.crt server.key /etc/gitlab/sslvim /etc/gitlab/gitlab.rb修改内容如下：nginx['ssl_cer...
2019-03-28 15:17:00
2222
转载 Failed to read artifact descriptor解决小记
在使用Eclipse开发maven工程过程中，添加依赖经常会出现Failed to read artifact descriptor *.jar的错误，但是打开被maven本地仓库对应的文件夹却还能找到这个不能被读到的包.通常都习惯去右击maven选择update Project，但是...
2019-03-27 13:16:00
2428
转载 elasticsearch单机测试配置小记
前面安装配置jdk不再赘述，下载解压elasticsearch也不再赘述 开启9200 和9300端口，selinux不用管 编辑/etc/security/limits.conf,追加以下内容 * soft nofile 65536 * hard nofile 65536 编辑/e...
2019-03-09 11:23:00
309
转载 centos7开放防火墙小记
开启某端口firewall-cmd --get-active-zonesfirewall-cmd --zone=public --add-port=8081/tcp --permanentfirewall-cmd --reloadfirewall-cmd --query...
2019-03-08 16:59:00
96
转载 Windows查看局域网内在线主机ip
cmd中输入for /L %i IN (1,1,254) DO ping -w 2 -n 1 192.168.1.%i然后输入arp -a 转载于:https://my.oschin...
2019-02-28 14:30:00
1019
转载 Java静态代码块执行方法和顺序
执行代码块格式：static{ procudure...}特点： 随着类的加载而执行，且只执行一次，并优先于主函数。用于给类初始化。执行顺序：示例：静态代码块随着类的加载而加载有多个静态代码块的，按代码块前后顺序加载一个代码块，只执行一次class ...
2019-01-27 15:16:00
157
转载 MySQL存储引擎小记
InnoDB: mysql默认的支持事务的存储引擎 墙裂建议使用 MyISAM： MySQL5.1及以前默认的存储引擎 优点是 性能表现比较好，而且支持压缩表，省空间 缺点是 不支持事务，只能锁整个表 没看懂部分：关于索引 ...
2019-01-08 00:11:00
92
转载 JavaScript的window.load小记
load事件通常用于检测文档内容或者图片是否加载完毕。 本文着重介绍注册在window对象上load事件，也就是window.onload事件。 关于事件处理函数注册，可以参阅如何注册事件处理函数一章节。 浏览器支持: （1）.IE浏览器支持此事件。 （2）.edge浏览器支持此事件...
2019-01-07 17:10:00
1310
转载 禁止crontab向用户发送邮件
定时条目后追加>/dev/null 2>&1 转载于:https://my.oschina.net/shuangquan/blog/2992571...
2018-12-24 16:32:00
1001
转载 Ext中 get、getDom、getCmp的区别
getDom方法能够得到文档中的DOM节点，该方法中包含一个参数，该参数可以是DOM节点的id、DOM节点对象或DOM节点对应的Ext元素(Element)等。 (与getElementById是一个效果) •Ext.onReady(function(){ var e=new Ex...
2018-12-14 18:29:00
222
转载 去除文件中<feff>
最近生成的文件中出现了<feff>乱码，而且单个文件中出现不止一次，在vim中打该文件显示<feff>，而在idea中则显示一个“-”，对数据处理造成了极大的困扰，通过使用其它编辑器打开发现，Windows记事本不出现乱码，notepad++不出现乱码，那么极有可能是该...
2018-12-11 16:59:00
1288
转载 crontab定时任务中提示command not found解决方案
写了个脚本定时从MySQL中提取数据，但是crontab发邮件提示mysql command not found 很奇怪，因为直接执行此脚本不会报错，正常运行，但加入到crontab中就会报错， 经查，MySQL不在crontab执行的环境变量中 解决方案： 找到MySQL...
2018-12-11 14:05:00
1154
转载 关于在vim中的查找和替换
1，查找 在normal模式下按下/即可进入查找模式，输入要查找的字符串并按下回车。 Vim会跳转到第一个匹配。按下n查找下一个，按下N查找上一个。 Vim查找支持正则表达式，例如/vim$匹配行尾的"vim"。 需要查找特殊字符需要转义，例如/vim\$匹配"vim$"。 2，大小写...
2018-12-10 14:56:00
109
转载 shell中判断变量是否为空
1.变量通过“ ”引号引起来 如下所示，可以得到结果为 is null #!/bin/bashpara1=if[! -n "$para1"]then echo "is null"else echo "not null"...
2018-12-09 21:24:00
772
转载 shell提取MySQL结果到变量中
host=`mysql -u$user -p$pass -D $db-e "select host from user;"` or host=$(mysql -u$user -p$pass -D $db-e "select host from user;") 将结果用 | grep...
2018-12-07 20:15:00
1133
转载 shell正则提取字符串中的数字并保存到变量中
1.提取数字到变量 temp = `echo "helloworld20181212 | tr -cd "[0-9]""`echo ${temp} 2.释义tr -cd "[0-9]" tr是translate的缩写，主要用于删除文件中的控制字符，或者进行字符转换 ...
2018-12-07 20:12:00
4092
转载 指定Tomcat使用的jdk版本而不依赖环境变量
面试时被大佬问到过如何解决jdk版本冲突的问题，当时凭借着IDE配置的经验蒙混过关，今天遇到了这个问题着手解决了一下并记录下来以下：linux环境假设jdk版本7，目录为/home/user1/jdk进入到tomcat的bin目录下，修改setclasspath.sh文件，在文件...
2018-11-22 20:53:00
226
转载 Spring 传参
spring传参之@RequestParam注解@RequestParam注解有三个参数分别是： value、 required、 defaultValue代码：@RequestMapping(value="test1", method = RequestMethod.GET)...
2018-10-16 17:12:00
214
转载 Spring boot 使用Scheduling Tasks笔记
前言：spring boot版本是2.0.5 创建好maven工程后，完成pom文件，如下： <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0...
2018-10-12 17:49:00
134
转载 JavaScript笔记
JavaScript作用域隐式全局变量：声明的变量没有var，就叫做隐式全局变量全局变量是不能被delete删除的，隐式全局变量是可以被删除的除了函数以外，其他任何地方创建的变量都是全局变量全局变量：如果页面不关闭，那么就不会释放，就会占空间，消耗内存预解析预解析：提前解析代...
2018-10-10 18:02:00
116
转载 Intellij IDEA使用GitLab
今天单位的svn又挂了，所以今天在云上自建了一个GitLab，记录一下操作步骤云端服务器的操作系统为centos7.4增加yum仓库 vim /etc/yum.repos.d/gitlab-ce.repo 在新增的文件中填写以下内容：[gitlab-ce]name=Gitlab CE...
2018-09-27 22:12:00
631
转载 springboot2.0应用启动报错
在尝试用80端口启动springboot应用时，console报错如下： Description:The Tomcat connector configured to listen on port 80 failed to start. The port may already be...
2018-08-23 16:37:00
226
转载 JCaptcha报异常
Invalid ID, could not validate unexisting or already validated captcha flag,这周解决这个问题，争取复现 转载于...
2018-08-02 16:25:00
240
转载 Eclipse编码问题
一直以来都以为eclipse设置好workspace与jsp的编码就万事大吉了，今天编辑properties文件时突然出现了问题，究其原因就是编码默认为ISO-8859-1，那么怎么更改后缀名为.properties的文件的默认编码呢？ 步骤如下： Window --> Prefer...
2018-06-30 11:00:00
120
转载 fasfdfs安装记录（CentOS7）
步骤可参阅wiki 1. 安装libfastscommon时，git报错：Peer reportsincompatible or unsupported pro 解决方案： # yum update -y nss curl libcurl ...好像也没什么难的（捂脸） ...
2018-06-29 16:19:00
105
转载 Java内存区域
Java虚拟机运行时数据区包含两类：由所有线程共享的数据区和线程隔离的数据区。 线程共享的数据区包括方法区和堆。 线程隔离的数据区包括虚拟机栈（VMStack）、本地方法栈（NativeMethodStack）和程序计数器（ProgramCounterRegister）。 ...
2018-05-28 16:53:00
70
转载 HashMap和Hashtable的区别
1.继承不同 public class Hashtable extends Dictionary implements Map public class HashMap extends AbstractMap implements Map 2.Hashtable中的方法是...
2018-05-25 00:45:00
69
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人