2018年01月_Halo 咯咯

06月 04月 03月 02月 01月

转载使用JavaMail发送邮件,并使用465端口开启ssl加密传输，保证邮件安全

package com.wangxin.test;import java.security.Security;import java.util.Date;import java.util.Properties;import javax.mail.Authenticator;import javax.mail.Message;import javax.mail.MessagingEx

2018-01-31 21:35:06 3923

原创 Hadoop 启动之后，datanode启动错误的问题解决--报 java.net.BindException

今天中午在hdfs-site.xml文件中添加了一个端口50010，然后重新启动hadoop，之后发现namenode正常启动，但是datanode启动不了。在datanode节点查看日志报错信息如下：java.net.BindException: Problem binding to [hbase1:50010] java.net.BindException: Cannot assign

2018-01-31 16:53:55 9362

转载快速操作Linux终端命令行的快捷键列表

终端有很多快捷键，不太好记，常用的在这里Ctrl+r 实现快速检索使用过的历史命令。Ctrl+r中r是retrieve中r。Ctrl+a：光标回到命令行首。（a：ahead）Ctrl+e：光标回到命令行尾。（e：end）ctrl+w: 移除光标前的一个单词Ctrl+k：删除光标处到行尾的字符。Ctrl+u：删除整个命令行文本字符。Ctrl+y:：粘贴Ct

2018-01-31 14:11:48 493

转载 SQL按照in语句的顺序返回结果

有时候我们需要按照in条件里的id顺序输出结果，可sql语句在不加order by的时候是按照asc排序的，下边的sql解决按照in条件顺序的id输出查询结果。MySQL写法:SELECT * FROM EVENT WHERE eventId IN(443,419,431,440,420,414,509) ORDER BY INSTR(',443,419,431,440,42

2018-01-27 15:12:46 5840 1

原创 Centos 创建新的用户并赋予sudo权限

centos创建新的用户useradd hadoop #创建用户passwd hadoop #设置密码创建用户之后，可以进入到hadoop用户下：su hadoop不过，刚创建的用户，由于没有在sudo用户组中添加权限，所以当你使用sudo的时候会报错，提示如下信息：hadoop is not in the sudoers file. This incid

2018-01-27 14:53:33 3517

转载 Java 判断IP和端口是否可连接

当我们通过IP和端口连接设备时，有时候为了用户体验，我们急需在几秒内给到用户回复信息，而这些就需要一些方法来判断：public void connect(String server, int servPort) throws IOException,UnknownHostException, SocketTimeoutException {

2018-01-27 11:23:13 5612

转载虚拟机上虚拟适配器不能链接到主机的网络

故障：虚拟机上虚拟适配器不能链接到主机的网络故障现像：在将原来的虚拟机整体复制到新电脑上之后，发现从虚拟机上可以PING通外网，但从自己的主机上不能PING通虚拟机。这样就导致了无法从CRT软件上远程登录虚拟机。解决思路：这个现像在网络上叫单通，也即PING操作里只有一个方向能够通过，一般出现这种情况，首先的判断是防火墙的问题。

2018-01-26 10:06:25 2530

转载在搭建好Hadoop集群后，namenode与datanode两个过程不能起来，或者一个启动之后另一个自动关闭

故障现像：此故障可以算是在换电脑搭集群后最多的故障了，首先是从节点上相关进程都没起来，后来又是进程起来后从节点上datanode节点没起来，最后是datanode进程起来之后，主节点上namenode进程又没起来。此故障看起来一波三折，实际上在理解好相关原理后，解决起来要比第一个故障轻松一些。解决思路：原理为先：首先要找到对应关系，主节点上nam

2018-01-26 10:03:03 2655 1

原创 Mysql中的join操作实例分享

本文主要介绍了Mysql join操作的相关资料,需要的朋友可以参考下，希望能帮助到大家。join的类型1．内联结：将两个表中存在联结关系的字段符合联结关系的那些记录形成记录集的联结。2．外联结：分为外左联结和外右联结。案例背景create table java (name varchar(255));insert into java values

2018-01-25 21:29:15 399

原创 MySQL批量插入千万级别的数据

使用MysQL插入千万级别的数据，如果使用单条的插入，在时间性能上肯定会让人怀疑人生。这里为了学习，收集了网上几个对于MySQL插入大数据量的博客，以便自己后面的学习。1、MYSQL批量插入数据库实现语句性能分析2、Mysql千万级别数据批量插入只需简单三步3、关于批量插入数据之我见（100万级别的数据，mysql）4、Mysql大量数据快速导入导出Py

2018-01-25 21:17:52 2944

原创用mysql触发器做数据统计

一、具体实现文件表：create table if not exists `file` ( `Name` varchar(255) NOT NULL, `Bucket`

2018-01-25 18:46:37 3382

原创 bios中英文对照表

Main菜单：这里记录着电脑的主要信息，比如时间和日期，软盘现在已经不再使用，下面的驱动器中会记录电脑连接的硬盘信息，扩展内存就是电脑的物理内存大小，1024KB=1MB，1024MB=1GB。Advanced高级设置：英文具体意思如图所示，一般不用对这些项目进行设置，有些BIOS会将后面Boot里的选项放在这里。Security安全设置：在这里可以设置BIOS密码等，普通

2018-01-25 13:28:00 8584

原创 Sci-Hub 网页版地址

截止2018-01-25，Sci-hub最新地址： 1.http://sci-hub.la/? 2.http://sci-hub.hk/ 3.http://sci-hub.tw/ 4.http://sci-hub.tv/ 5.http://80.82.77.83/Sci-hub使用方法：1. 利用doi下载将文章的doi编码粘贴到sci-h

2018-01-25 13:14:49 9304

原创在启动ElasticSearch的时候出现报错信息Permission denied

当把ElasticSearch部署好之后，然后进入到elasticsearch/bin目录下运行./elasticsearch出现了报错信息，log4j:ERROR setFile(null,true) call failed.java.io.FileNotFoundException: /usr/local/elasticsearch/logs/elasticsearch.log

2018-01-19 09:48:05 13817

原创 Zookeeper启动不成功，日志报java.net.BindException: Address already in use

最近集群在做新的迁移改动，所以需要开启很多集群。当在开启zookeeper时，有一个节点zookeeper并不能正常启动，使用命令：./zkServer.sh status查看了下状态，报错如下：JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgError contacting servic

2018-01-16 14:44:23 15842 6

原创 WARNING: POSSIBLE DNS SPOOFING DETECTED! 和 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! 的解决方案

当一个节点的ip发生变化，再进行ssh 就会提示以下错误：@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: POSSIBLE DNS SPOOFING DETECTED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

2018-01-16 11:20:11 710

原创 Linux 下网卡重启

本文用于备忘！如果我们修改了ip，如果没有重启网卡，一般是没有奏效的。Linux 下网卡重启的命令为： /etc/init.d/network restart 或者是 /etc/init.d/networking restart或者重启网络服务：service network restart在ubuntu下，还可以指定控制哪个网卡(其中eth0为网卡名)：sudo ifdown

2018-01-16 10:38:41 66777

原创 Hadoop 启动了之后， ResourceManager未起来的问题解决

今天早上同学让我帮忙启动了下集群，首先就要启动hadoop，jps进程看了下：2128 QuorumPeerMain12178 Jps8259 SecondaryNameNode7993 NameNode发现Hadoop的namenode和secondarynamenode都起来了，但是resourcemanager却没有起来，但是感觉配置都没有错，这个时候去查看了日志，

2018-01-16 09:32:16 69653 7

原创 Linux make命令学习

make 命令 Linux 下 make 命令是系统管理员和程序员用的最频繁的命令之一。管理员用它通过命令行来编译和安装很多开源的工具，程序员用它来管理他们大型复杂的项目编译问题。无论是在linux 还是在Unix环境中，make都是一个非常重要的编译命令。不管是自己进行项目开发还是安装应用软件，我们都经常要用到make或make install。利用make工具，我们可以将

2018-01-13 17:01:06 766

原创 Nethogs 命令使用--网络带宽占用情况查看工具

什么是nethogs？NetHogs是一个开源的命令行工具（类似于Linux的top命令），用来按进程或程序实时统计网络带宽使用率。在Nethogs项目网站上描述是：NetHogs是一个小型的net top工具，不像大多数工具那样拖慢每个协议或者是每个子网的速度而是按照进程进行带宽分组。NetHogs不需要依赖载入某个特殊的内核模块。如果发生了网络阻塞你可以启动NetHogs立即看到哪

2018-01-13 16:50:33 6301

原创 Ubuntu 执行sudo apt-get update 出现错误 E:Sub-process returned an error code 的错误

ubuntu 在执行：sduo apt-get update出现如下错误：Problem executing scripts APT::Update::Post-Invoke-Success ‘if /usr/bin/test -w /var/cache/app-info -a -e /usr/bin/appstreamcli; then appstreamcli refresh > /d

2018-01-13 14:25:31 7922

原创 Ganglia安装部署

ganglia安装部署一、ganglia安装1、在集群的主节点上安装ganglia-webfrontend和ganglia-monitorsudo apt-get install ganglia-webfrontend ganglia-monitor在主节点上安装ganglia-webfrontend和ganglia-monitor。在其他监视节点上，只需要安装ganglia-mo

2018-01-10 19:29:28 634

原创查看Linux端口是否打开的命令

备忘！查看Linux下一些端口是否打开的命令：lsof -i：portnetstat -an|grep:port

2018-01-10 19:09:25 4956

原创执行/etc/init.d/* start方式和services '*' start 的区别

其实个人感觉这两种方式没有什么区别，在Serice中的描述是这样的： DESCRIPTION service runs a System V init script in as predictable environment as possible, removing most environment variables and with current working direct

2018-01-10 19:07:32 4206

转载 hbase-site.xml 配置详解

原文：http://blog.csdn.net/ningxuezhu/article/details/50547970该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xmlhbase.rootdir这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表

2018-01-10 18:44:29 1346

原创随机游走

看了几篇关于随机游走算法的介绍，个人认为还是有收获的，所以在此做个备忘。浅谈随机游走http://blog.csdn.net/songzitea/article/details/18087401随机游走模型（Random Surfer Model）http://book.51cto.com/art/201201/313371.htm推荐系统 - 3 - 协同过滤算法、随机游走算

2018-01-09 17:10:11 6333

转载自我中心网络：科普+数据共享

转载地址：http://www.pkbigdata.com/common/share/62.html摘要：关键词：自我中心网络个人中心网络数据正文：几乎每个人从小到大都认识了几百乃至上千个朋友，但在同一时期能够维持的朋友关系数量却非常有限。人类学家Dunbar曾就此问题展开研究，提出了社交大脑假说理论[1,2]，指出人类维系社交关系的能

2018-01-07 14:40:37 3784

原创 Pareto（帕雷托）理论

由于最近看到了一篇社交网络中的论文提高了Pareto相关知识，所以整理了下网上关于Pareto相关理论的讲解，供大家参考：维弗雷多·帕雷托 (Villefredo Pareto) 在1987年提出：社会财富的80%是掌握在20%的人手中，而余下的80%的人只占有20%的财富。渐渐地，这种“关键的少数（vital few）和次要的多数（trivial many）”的理论，被广为应

2018-01-07 14:29:46 60419 3

原创 Java 进行词频统计，并按单词顺序顺序排序

本文针对以前一篇的博客 java进行文本单词的词频统计进行补充，在统计文本词频之后，又对map按key值进行排序，即按单词顺序排序。package com.cute.test;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.Ar

2018-01-06 09:06:22 3794 1

原创 Java Map按Key值进行排序

package com.cute.test;import java.util.Comparator;import java.util.Map;import java.util.TreeMap;public class SortMapTest { public static void main(String[] args) { Map tmap = new TreeMap();

2018-01-05 14:18:09 13639

原创启动HBase时出现ignoring option PermSize=128m; support was removed in 8.0警告信息

当启动HBase时报如下警告：starting master, logging to /home/hadoop/hbase-1.1.5/bin/../logs/hbase-hadoop-master-hd1.outJava HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was remo

2018-01-03 14:30:02 5551 4

原创 Hadoop启动之后datanode进程在但50070页面Live Nodes为0

当正常启动hadoop之后，一般进程都在，而且50070端口可以访问，但是8088端口却不能访问，这里可能有多种原因造成这样：1、/etc/hosts 中的ip映射不对2、master与slave之间不能互通3、hadoop配置文件有错在子节点中查看日志，2018-01-03 09:26:48,488 INFO org.apache.hadoop.ipc.Client: Ret

2018-01-03 11:11:50 5891 1