- 博客(31)
- 收藏
- 关注
RSS订阅原创 MySQL数据库迁移笔记
这次的MySQL数据库迁移，是从中国联通到AWS，而AWS由于封装了一些操作，因此命令上会和中国联通的略微不同（中国联通只使用常规的MySQL命令）以下的步骤是设置成master-master的关系1. 在AWS和联通上创建用于replication的用户repl CREATE USER 'repl'@'#IP#' IDENTIFIED BY '#password#';
2017-02-16 14:55:31
440
原创 Squid - 单台server多个instance的解决方法
刚开始的时候，参考的是Red Hat上的文章：https://access.redhat.com/solutions/54740但是发现和自己的需求不相同，文章中实现的效果是，使用一个“service XXX start”，就能启动多个instance，而我需要的是每个instance由独立的“service XXX start”进行控制，不过这文档还是给了相当大的灵感。马上进入正
2016-11-28 11:24:32
993
原创 React Router中pushState的使用方法
带参数页面跳转this.props.history.pushState({passParam: true}, "/targetURL");第一个参数为你页面跳转时，需要传递的参数，如果不需要传参数，则为null。第二个参数为跳转目标页面。目标页面获取参数let temp = this.props.location.state;temp则是刚才页面跳转时所传递的参数
2016-07-19 10:42:00
12808
2
原创 Atom如何安装插件
最近在Atom上尝试安装插件，但是发现无法安装成功，网上虽然找到很多解决方法，但是发现自己也不太适用，希望我的这个方法也能够解决你的问题。1. 安装NodeJS安装这个的目的主要是为了npm，以下是npm的介绍2. 打开Atom的Setting界面，在Packages里面搜索你想要安装的插件名称3. 点击你需要安装的插件名称，这时候浏览器就会
2016-05-01 10:40:36
891
原创 LintCode - Happy Number
问题：写一个算法来判断一个数是不是"快乐数"。一个数是不是快乐是这么定义的：对于一个正整数，每一次将该数替换为他每个位置上的数字的平方和，然后重复这个过程直到这个数变为1，或是无限循环但始终变不到1。如果可以变为1，那么这个数就是快乐数。解题思路：对于非快乐数，会出现一个周期循环，例如：20->4->16->37->58->89->145->42->20，因
2016-01-10 12:37:13
595
原创 计数排序（其实思想是桶排序）
import java.util.*;//计数排序public class CountingSort{ public int[] countingSort(int[] A, int n) { int[] array = createArray(A, n); for(int i=0;i<n;i++) { i
2016-01-10 12:02:12
394
原创 冒泡排序
import java.util.*;public class BubbleSort { public int[] bubbleSort(int[] A, int n) { for(int i=0;i < n-1;i++) { for(int j=0;j < n-1-i;j++) {
2016-01-10 12:00:45
306
转载 Java类的连接与初始化 (及2013阿里初始化笔试题解析)
原文出处： iceAeterna Java虚拟机通过装载、连接、初始化来使得一个Java类型可以被Java程序所使用，如下图所示，其中连接过程又分为验证、准备、解析三个部分。其中部分类的解析过程可以推迟到程序真正使用其某个符号引用时再去解析。解析过程可以推迟到类的初始化之后再进行，但这是有条件的，Java虚拟机必须在每个类或接口主动使用时进行初始化。以下为主动使用的情况：
2015-11-22 11:02:49
567
转载 泛型中? super T和? extends T的区别
原文出处： 并发编程网经常发现有List、Set的声明，是什么意思呢？表示包括T在内的任何T的父类，表示包括T在内的任何T的子类，下面我们详细分析一下两种通配符具体的区别。extendsList foo3的通配符声明，意味着以下的赋值是合法的：// Number "extends" Number (in this context)List foo3 = new ArrayL
2015-11-16 22:56:36
580
原创 java中奇偶数的判断
一般情况下，判断奇偶数都会用如下的方法public boolean isOdd(int number){ return number % 2 == 1;}但是一旦把负整数考虑进来，就会出现问题当取余操作返回一个非零的结果时，它与左操作数具有相同的正负符号，也就是说，如果我们传入的参数是-1，运行以上方法后得到的结果是-1，而不是1因此可以把方法改成
2015-10-19 23:07:43
6691
转载 为什么ConcurrentHashMap是弱一致的
转载自并发编程网 – ifeve.com本文链接地址: 为什么ConcurrentHashMap是弱一致的本文将用到Java内存模型的happens-before偏序关系（下文将简称为hb）以及ConcurrentHashMap的底层模型相关的知识。happens-before相关内容参见：JLS §17.4.5. Happens-before Order、深入
2015-10-17 09:04:08
482
转载 进程与线程的一个简单解释
来源：阮一峰进程（process）和线程（thread）是操作系统的基本概念，但是它们比较抽象，不容易掌握。最近，我读到一篇材料，发现有一个很好的类比，可以把它们解释地清晰易懂。1.计算机的核心是CPU，它承担了所有的计算任务。它就像一座工厂，时刻在运行。2.假定工厂的电力有限，一次只能供给一个车间使用。也就是说，一个车间开工的时候，其他车间都必须停工。背后的含义就
2015-10-17 08:51:25
356
原创 MySQL分页limit的使用方法
select * from table limit 0,10上面句子中，0是起始offset，10是select出来的record数目，整句的意思是，选择table中前十条当然也可以直接写成select * from table limit 10如果换个offsetselect * from table limit 5,10这句的意思是，返回第6至15行record
2015-08-29 18:54:08
663
原创 Hive启动metastore的出错org.apache.thrift.transport.TTransportException
以下是启动metastore时出现的exception[root@hadoop1 hadoop-1.2.1]# hive --service metastore &[1] 3530[root@hadoop1 hadoop-1.2.1]# Starting Hive Metastore Server15/02/07 15:21:38 WARN conf.HiveConf: DEP
2015-04-03 16:13:01
20266
原创 以某列为分区ID,导入数据到HIVE
这里以tradedate作为分区ID导入data到hive 首先创建和csv中的数据一一对应的tablecreate table t_reverse_repurchase (tradedate string, tradetimestring, securityid string, bidpx1 double, bidsize1 double, offerpx1double, offers
2015-04-01 10:09:21
716
原创 启动HIVE
启动metastore服务hive --service metastore & 启动hiveserver服务hive --service hiveserver &启动hive客户端hive shell 如果配置了mysql作为metadata的管理，要记得先启动mysqlservice mysql start
2015-04-01 10:09:18
496
原创 大矩阵乘法
原理参考：http://blog.csdn.net/xyilu/article/details/9066973 我的代码实现 ****************Starter******************************** import java.io.IOException;import java.util.regex.Pattern;import org.apac
2015-04-01 10:09:13
734
2
原创 Pig练习
001|2014-09-10 00-09|TKH001|2014-09-10 09-17|TKH003|2014-09-10 00-09|TKH002|2014-09-10 00-09|TKH002|2014-09-10 09-17|BEIJING ROAD003|2014-09-10 09-17|TMALL004|2014-09-10 00-09|TKH001|2014-09-10
2015-04-01 10:09:11
481
原创 ssh的权限设置问题
最近遇到一个问题，id_rsa.pub已经成功添加到authorized_keys文件中，但是ssh通信的时候依然需要密码 后来发现linux文件的权限设置问题，如果权限设置过于宽松的话，即使添加公钥，是依然需要密码的，经过多次试验，以下是我的设置 .ssh文件夹.ssh里的文件
2015-04-01 10:09:08
971
原创 Hive配置mysql作为元数据库
安装mysql，具体操作参考：http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html 安装hive：下载hive压缩包，解压缩后，进入conf复制hive-default.xml.template和hive-env.sh.template,重命名为hive-env.sh和hive-site.x
2015-04-01 10:09:05
689
原创 Mahout运行20NewsGroup
如上图所示，执行建立训练集命令的时候出错了 Unknown program'org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups'chosen.这个错是由于Mahout在0.7版本后没有了这个class 进入Mahout目录，在example/bin里有一个脚本classify-20newsgroups.sh运行这
2015-04-01 10:09:03
513
原创 编译Eclipse的hadoop插件
1. 在eclipse下创建javaproject，导入hadoop-1.2.1\src\contrib\eclipse-plugin，在project根目录下创建lib文件夹，将图片中的jar复制进去，并且将hadoop-1.2.1\src\contrib\build-contrib.xml复制到project根目录下 2. 修改build-contrib.xml 3. 修改
2015-04-01 10:09:00
418
原创 eclipse中ant build出错(jdk1…
在eclipse中使用ant build project的时候出现 Class not found:javac1.8的错 查看eclipse plug in的ant version， 发现是1.8，然而ant 1.8对jdk1.8是不支持的，因此需要升级eclipse的ant插件版本build出错(jdk1.8 不兼容)" TITLE="eclipse中ant build出错(jdk1
2015-04-01 10:08:57
1012
原创 hadoop成功启动后，重新format&nbs…
如题，重新启动后，发现jps无法找到datanode进程，然后查看log namenode，发现所有datanode都无法启动" TITLE="hadoop成功启动后，重新format namenode，发现所有datanode都无法启动" />于是用master，进入namenode的路径，打开current文件夹里面的VERSION，里面的namespaceid就是我们需要的，把这个
2015-04-01 10:08:55
411
原创 通过SecondaryNameNode恢复Namenod…
1.模拟NN崩溃，删掉 hadoop.tmp.dir 里面name文件夹中的所有文件hdfs-site.xml,修改fs.checkpoint.dir（可改可不改）2.在NN主机上，确保存在fs.checkpoint.dir的文件夹 3.将SNN中fs.checkpoint.dir中的所有文件copy到NN主机的fs.checkpoint.dir中 4.运行 bin/hadoop
2015-04-01 10:08:51
560
原创 SecondaryNameNode和NameNode分离
hadoop configfiles中的master，里面指定的主机，其实不是namenode，而是secondarynamenode 1.修改conf/masters master里面配置的，其实是SNN的主机地址 2.修改hdfs-site.xml文件 dfs.http.address：namenode的http监控地址dfs.secondary.http.address
2015-04-01 10:08:48
683
原创 HDFS修改Block size
1.查看HDFS的file system情况 block size=64MB size" TITLE="HDFS修改Block size" />修改hdfs-site.xmlsize" TITLE="HDFS修改Block size" /> 重新启动hdfs 并且添加新文件 重新查看file system 修改生效size" TITLE="HDFS修改Block siz
2015-04-01 10:08:46
1913
原创 Hadoop中出现“Exceeded MAX_F…
在尝试运行wordcount的时候 出现以下的error MAX_FAILED_UNIQUE_FETCHES”" TITLE="Hadoop中出现“Exceeded MAX_FAILED_UNIQUE_FETCHES”" />map100%，证明map阶段没有问题,问题出在reduce阶段，从jobtracker中获取任务，并且会获得map的服务器地址，而这个地址是map的主机名字
2015-04-01 10:08:43
373
原创 无密码ssh通信
普通ssh方式通信（需要密码）：ssh 192.168.1.102(对方的ip地址) 无需密码ssh通信：假设现在有两台机器 A：192.168.1.101 B:192.168.1.102在A上运行 ssh-keygen -t rsa无论遇到什么问题 直接按回车 最后如下图运行 cd .ssh/(这个文件夹是刚刚的命令生成滴)接着再运行 scp ./id_rsa.pub s
2015-04-01 10:08:40
391
原创 关于Linux 防火墙iptables的操作
iptables开机自动启动：开启： chkconfig iptables on 关闭： chkconfig iptables offiptables关闭服务：开启： service iptables start 关闭： service iptables stop查看iptables状态：service iptables status
2015-04-01 10:08:37
459
原创 虚拟机中Linux设定IP地址
1.网络连接方式设置为 桥接模式~2.获取root权限，修改文件 /etc/sysconfig/network-script/ifcfg-eth0 关键在于设置BOOTPROTO,DNS和GATEWAY3.重启网络服务service network restart 另外一种情况是，发现linux使用的网卡是eth1，所以eth0的设置无法生效，因此这时候
2015-04-01 10:08:34
406
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人