- 博客(75)
- 收藏
- 关注
RSS订阅[转]端口状态说明 LISTENING、ESTABLISHED、TIME_WAIT及CLOSE_WAIT
TCP状态转移要点 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得注意的状态有两个：CLOSE_WAIT和TIME_WAIT。 1、LISTENI...
2015-07-30 10:22:14
1842
原创 mysql 无lock tables权限 报Access denied for user when using LOCK TABLES
普通用户备份mysql 数据库报错mysql 无lock tables权限 报Access denied for user 'dbuser'@'localhost' to database 'db' when using LOCK TABLES主要原因是该用户无lock tables 该权限，处理办法：1. 给该普通用户赋予lock tables 权限，建议是删除该用户，重新用mysql命令建...
2015-06-15 18:19:07
894
redis指令大全
APPEND key value追加一个值到key上AUTH password验证服务器BGREWRITEAOF异步重写追加文件BGSAVE异步保存数据集到磁盘上BLPOP key [key ...] timeout删除，并获得该列表中的第一元素，或阻塞，直到有一个可用BRPOP key [key ...] timeout删除，并获得该列表中的最后一个元素，或阻塞，直到有一个...
2015-06-04 22:31:23
174
1linux导出数据库报错：Can't connect to local MySQL server through socket '/tmp/mysql.sock
在执行mysqldump命令时候报如下错误：[root@localhost ~]# mysqldump -uroot -p -d test> test.sql mysqldump: Got error: 2002: Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) when try...
2015-06-03 19:23:26
291
linux---mysql数据库导入和导出
一、导出数据库用mysqldump命令（注意mysql的安装路径，即此命令的路径）：1、导出数据和表结构：mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql敲回车后会提示输入密码 2、只导出表结构mysqldump -u...
2015-06-03 18:16:22
104
hive常用函数
字符串函数字符串长度函数：length Java代码 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length(‘abcedfg’) from dual; 7 字符串反转函数：reverse Java代码 ...
2015-05-28 10:00:28
104
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using pa
系统是linux，mysql在进入mysql工具时，有错误提示:# mysql -uroot -pEnter password:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)使用网上介绍的方法修改root用户的密码：# mysqladmin -uroot -p password '...
2015-05-27 16:25:25
374
shell之date
date1=`date --date='2 days ago' +%Y%m%d`昨天 (前一天)date –date=’1 days ago’ “+%Y-%m-%d”date -d ’1 days ago’ “+%Y-%m-%d”date -d yesterday “+%Y-%m-%d”明天 (後一天)date –date=’1 days’ “+%Y-%m-%d”d...
2015-05-20 19:50:37
241
shell操作mySql数据库
mysql -hhostname -Pport -uusername -ppassword -e 相关mysql的sql语句，不用在mysql的提示符下运行mysql，即可以在shell中操作mysql的方法。Xml代码 #!/bin/bash HOSTNAME="192.168.111.84" ...
2015-05-20 15:18:13
94
python 常用函数
基本定制型C.__init__(self[, arg1, ...]) 构造器（带一些可选的参数）C.__new__(self[, arg1, ...]) 构造器（带一些可选的参数）；通常用在设置不变数据类型的子类。C.__del__(self) 解构器C.__str__(self) 可打印的字符输出；内建str()及print 语句C.__repr__(self) 运行时的字...
2014-12-21 14:10:31
131
java中使用MD5加密明文
密码等重要信息入数据库的时候考虑数据的安全性，会将明文的密码加密，其中MD5就是其中的一种算法，在java中的MessageDigest类就是MD5的具体实现，在将转成的字节数组转成十六进制，起到加密的作用。例子如下：package MD5加密;import java.security.MessageDigest;import java.security.No...
2014-12-02 22:50:46
459
Java 字节流与字符流的区别
字节流与和字符流的使用非常相似，两者除了操作代码上的不同之外，是否还有其他的不同呢？ 实际上字节流在操作时本身不会用到缓冲区（内存），是文件本身直接操作的，而字符流在操作时使用了缓冲区，通过缓冲区再操作文件，如图12-6所示。 下面以两个写文件的操作为主进行比较，但是在操作时字节流和字符流的操作完成之后都不关闭输出流。 范例：使用字节流不关闭执行 package org.lxh...
2014-11-26 20:24:13
91
C/S与B/S
B/S结构（Browser/Server，浏览器/服务器模式），是WEB兴起后的一种网络结构模式，WEB浏览器是客户端最主要的应用软件。 C/S是Client/Server的缩写。服务器通常采用高性能的PC、工作站或小型机，并采用大型数据库系统，如Oracle、Sybase、Informix或 SQL Server。客户端需要安装专用的客户端软件。 ...
2014-11-26 00:39:47
147
利用JDBC连接mysql数据库小记
package tms.jdbc;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;/* * 简单链接数据库 */public class Demo1 { public static v...
2014-10-17 23:31:16
115
JavaWeb中重定向和转发小解
在JavaWeb的Servlet开发中，有时需要验证来自客户端的参数，或者是处理客户端的数据，然后跳转到相应的其他的 界面，这里有两种页面跳转的方式，一种是重定向，一种是转发。 重定向方式是浏览器和服务端共同的行为，当客户端像服务端（Servlet）发送请求，如果这时使用重定向的方式，服务端就会通知浏览器，让后浏览器在去访问服务端的定向的资源。 ...
2014-10-03 01:40:53
136
java下字符串和字节数组如何转换
1、字节数组转换为字符串byte[] byBuffer = new byte[20];... ...String strRead = new String(byBuffer);strRead = String.copyValueOf(strRead.toCharArray(), 0, byBuffer.length]);2、字符串转换成字节数组byte[] byBuffer = ne...
2014-09-29 14:09:13
112
求猛戳进来
hadoop中 一个M/R（job1）同时跑三个目录下的数据(input_1,input_2,input_3) 将他们的结果交由另外一个M/R（Job2）做一些运算 然后的到最后的结果，最后 的结果应该是四个目录，分别为result1,2,3,4 这个具体要使用到什么？？ 求指教 ...
2014-08-01 15:18:48
107
Scala IDE
Scala IDE 的使用最近接触了Spark，所以不得不去学习一门新的语言，Scala，虽然java和python写的任务也可以放在Spark上面来跑，但是看到一个wordcount(一个统计单词数目的小例子)用Scala写在Spark上面跑只要两行代码就能搞定的时候，在hadoop上面用mapreduce完成wordcount要40...
2014-07-30 01:56:00
183
Spark学习：利用Eclipse搭建Spark集成开发环境
（1） 准备工作在正式介绍之前，先要以下软硬件准备：软件准备：Eclipse Juno版本（4.2版本），可以直接点击这里下载：Eclipse 4.2Scala 2.9.3版本，Window安装程序可以直接点击这里下载：Scala 2.9.3Eclipse Scala IDE插件，可直接点击这里下载：Scala IDE(for Scala 2.9.x and Eclipse ...
2014-07-29 11:51:20
253
HDFS 常用的文件操作命令
HDFS 常用的文件操作命令1.-cat使用方法：hadoop fs -cat URI说明：将路径指定的文件输出到屏幕示例： hadoop fs -cat hdfs://host1:port1/filehadoop fs -cat file:///file3 2.-copyFromLocal使用方法：hadoop fs -copyF...
2014-07-27 12:16:36
252
hadoop中M/R的点点滴滴
简单的m/r我们只要写两个部分，一个是继承Mapper，一个是Reducer，写好里面map函数和reduce函数，系统给我们做了很多其他的工作，一个完整的m/r应该包括下面的所有过程，处理复杂的问题的时候我们往往要将下面的东西重写。按照我们自己的需求来进行，而不是默认的系统的方法： 完整m/r的历程如下所示： ...
2014-07-26 21:29:49
635
多个mapreduce工作相互依赖处理方法完整实例（JobControl）
处理复杂的要求的时候，有时一个mapreduce程序时完成不了的，往往需要多个mapreduce程序，这个时候就要牵扯到各个任务之间的依赖关系，所谓依赖就是一个M/R Job 的处理结果是另外的M/R 的输入，以此类推，完成几个mapreduce程序，得到最后的结果，下面将直接贴出一个例子的全部代码，因为为了找一个完整的例子实在是太难了，今天找了半天才把这个问题解决。 ...
2014-07-25 16:40:28
460
Permission denied: win7下面eclipse上传本地文件到DFS && 运行M/R程序时出现的同样的错误解决方法...
情景一：当在win7下面的eclipse装好插件，首次运行M/R程序的时候，想把文件从win7下面的本地文件传到HDFS文件系统上面：（点击Upload files to DFS 或者其他） 会遇到一个提示，如下： 然后点击OK，就可以了，然后你的文件就没有传上去！！！ 情景二：我们即使自己手动在将linux本地的文件传到HDFS中区以后，配置好之后运行，...
2014-07-23 17:49:44
175
hadoop常见配置含义
参数 取值 备注fs.default.nameNameNode 的URI。hdfs://主机名/dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要，用这个文件控制许可的datanode列...
2014-07-23 14:52:26
122
Hadoop实现Secondary Sort (转)
在hadoop中每个reduce的输入的key都是有序的，而value则是无序的。而且同一个job运行多次，由于map完成顺序不同，reduce收到的value顺序是不固定的。那如何才能实现reduce收到有序的value呢？这就需要Secondary Sort。Secondary Sort要解决的问题：reduce收到的value有序。这里举一个场景，来说明Secondary Sort...
2014-07-21 01:41:41
96
实习小记——给还是”学生“的我们
一首“国歌”闹铃拉开了一天的序幕，步行5分钟走到吃早餐的地方，可能是地方不同，来自南方的孩子总会吃不惯北方的食物，豆腐脑里面放的是卤水（一种黑色的酱），我们那边放的是白糖，所以还是没有勇气买上一碗尝一尝这北方的风味，胡乱吃点，喝碗不放糖的豆浆，一天的生活开始了。 来到坐公交的地方，神经一下崩得老紧，等车的人让我深深的感受到了中国人实在是多，“513到了“，夹...
2014-07-19 01:14:42
219
mySQL数据库可以有多大
在老版本的MySQL 3.22中，MySQL的单表限大小为4GB，当时的MySQL的存储引擎还是ISAM存储引擎。但是，当出现MyISAM存储引擎之后，也就是从MySQL 3.23开始，MySQL单表最大限制就已经扩大到了64PB了（官方文档显示）。也就是说，从目前的技术环境来看，MySQL数据库的MyISAM存储 引擎单表大小限制已经不是有MySQL数据库本身来决定，而是由所在...
2014-07-17 13:42:26
503
致命方块
在java的继承中有个名词叫“致命方块”，是翻译过来的，原来的英文是“deadly diamond of death”具体的含义如下： 如图： 类B和类C均继承自A，而类D分别继承了B和C，如果B或者C重写了类A中的某个方法methodA，而类D没有重写类A的这个methodA，那么当类D调用methodA方法时，到底该...
2014-07-05 14:10:31
611
多个MapReduce作业相互依赖时，使用JobControl进行管理
要处理复杂关系的数据，一个工程里面绝对不止一个MapReduce作业，当有多个MapReduce作业时， 并且每个作业之间有依赖关系，所谓的依赖就是一个作业得到的结果是另外一个作业的输入，这个时候我们可 以使用JobControl吊用其中的的addDepending()方法，管理每个MapReduce工作间的依赖关系，具体的 示例如下： ...
2014-06-30 23:06:03
231
第一个完整的Map/Reduce小程序
从在自己的win7下面装好虚拟机，然后在虚拟机上面安装hadoop，然后再安装hadoop-eclipse插件，过去好像有一个星期了，之前装虚拟机和hadoop都没成功，上个星期解除了封印，一口气把hadoop学习前期的所有的东西都搞定了，接下来就是遥遥无期的hadoop之路。希望自己能坚持下去。 今天按着别人的思路在win7下面的eclipse里面敲了...
2014-06-29 02:19:34
298
Hadoop 解除 "Name node is in safe mode"（转）
运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧（至少我运行的时候是这样的）那我们来分析下这个错误，从字面上来理解：Name node is in safe mode说明Hado...
2014-06-29 00:58:06
96
win7+centos虚拟机hadoop安装eclipse插件运行时报权限错误处理方法
先上错误： 14/06/27 23:37:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable14/06/27 23:37:32 ERROR s...
2014-06-28 12:18:00
177
hadoop之在集群上跑Pig脚本语言
Step1： 我们要在本地创建一个存放数据的txt文件，我们命名为studentdata.txt里面存放的数据如下：001:林:59002:唐:100003:施:61004:王:78005:张:76006:李:52 Step2: 将本地创建的数据传到namenode下面， 先在我们的/mnt/tmp/下...
2014-06-01 01:52:57
251
hadoop之Pig(一)--简介
Pig 是一种探索大规模数据集的脚本语言。MapReducer的一个主要的缺点就是开发的周期太长了。我们要编写mapper和reducer，然后对代码进行编译打出jar包，提交到本地的JVM或者是hadoop的集群上，最后获取结果，这个周期是非常耗时的，即使使用Streaming(它是hadoop的一个工具，用来创建和运行一类特殊的map/reduce作业。所谓的特殊的m...
2014-05-31 02:17:41
1001
相亲相爱的B家人（BST树，B+树，B-树，B*树）
今天突然想起曾今一个学长说的一句话，他说数据结构中B+树在计算机中用的最多，曾几何时我们也好像学过B树，可是酱油过来已经忘得差不多了，B+树做为了我们的自学部分，自学的当然在那时就认为是不用学的了。 早上的实验课无聊，就现场百度了一把，想看看B+树的知识，一下把我吓了一跳 ，原来B树有这么多的兄弟，不仅仅是B+，还有B-树，当然还有B*树，暂时没看到B/树，...
2014-05-26 01:00:05
109
重走算法路之希尔排序
希尔排序是在插入排序的基础上对插入排序进行了优化。我们知道插入排序的过程是将后面的要排序的数字依次和待排序前面的数字进行比较，然后判断大小，最后在进行交换。 这就存在一个很大的问题，就是如果最小的数字在最右边的话，按照我们排序的要求（顺序排列）这个最小的数字要依次和前面的n-1个数字进行比较，然后复制交换，所以插入排序的最大的缺点就是复制的次数过多。 ...
2014-05-24 12:22:42
88
重走算法路之归并排序
归并排序的思想是把一个要排序的数据分成两份，把每一份排好序，然后通过merge()(合并)方法把两个数组归并成一个有序的数组。。。 通过递归的方法。一份变两份，两份变四份，四份变八份。。。。当分到最后只有一个元素的时候，每一份都是有序的了，因为只有一个元素嘛。然后再把每一份排好序的merge()回来，也就是一个变两个，两个变四个，四个变 八个。。。。组成一个原来长...
2014-05-18 00:32:46
91
重走算法路之二分查找
今天读“谷歌三大论文”看到了“二分查找”这个词，突然一点印象都没有了，记性是被狗吃去了么，最主要的是平时用的少，又没怎么去看他，快点打开书，又看了一遍，再敲了一遍，写点东西，算是再次复习一下。 所谓“二分查找”从字面就可以知道他的意思，一个是“分”一个就是“找”，“分”就是指把“分数据”“找”也就是找数据，唉，又废话了。 具体一个例子，我们要在数...
2014-05-16 21:16:03
98
原创 一个简单的例子说明原子性操作
原子性操作例子举例：A想要从自己的帐户中转1000块钱到B的帐户里。那个从A开始转帐，到转帐结束的这一个过程，称之为一个事务。在这个事务里，要做如下操作：1. 从A的帐户中减去1000块钱。如果A的帐户原来有3000块钱，现在就变成2000块钱了。2. 在B的帐户里加1000块钱。如果B的帐户如果原来有2000块钱，现在则变成3000块钱了。如果在A的帐户已经减...
2014-05-16 00:53:31
884
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人