- 博客(56)
- 资源 (57)
- 收藏
- 关注
RSS订阅转载 linux expect 实例
1,ssh实现自动登录,并停在登录服务器上#!/usr/bin/expect -f set ip [lindex $argv 0 ] //接收第一个参数,并设置IP set password [lindex $argv 1 ] //接收第二个参数,并设置密码 set timeout 10 //设置超时时间 spawn ss
2015-04-30 16:48:04
843
转载 Linux多台主机批量命令脚本
如果你只维护着1台机器，这篇文章对你可能就没啥用处了。如果你维护着大量的Linux主机，就需要这样一个脚本帮助你完成日常维护工作，脚本很简单，主要是提供一个思路，其他功能的脚步都可以按照此脚本的流程实现。1、首先你需要指定一台主机作为信任主机，这样从这台主机登录其他机器就不需要密码了。如何设置信任主机？假设有四台机器：192.168.2.1~192.168.2.4，其中192.
2015-04-30 16:32:31
7752
2
原创 linux下expect安装 、使用
一、expect安装：expect据说是交互性很强的脚本语言，想安装了玩玩试试，没想到竟然让我纠结两天才安装上，只是因为expect依赖于tcl，但linux系统里一般不自带安装tcl，需要手动安装expect版本 5.43http://download.chinaunix.net/download/0003000/2845.shtmltcl版本 8.4.19h
2015-04-30 15:30:43
1700
转载 maven 加入json-lib.jar 报错 Missing artifact net.sf.json-lib:json-lib:jar:2.4:compile
net.sf.json-lib json-lib 2.4 报错误：Missing artifact net.sf.json-lib:json-lib:jar:2.4:compile原因：json-lib是需要区分jdk版本的，pom.xml中的配置应加上标签classifier指定jdk版本，如用jdk15修改为：
2015-04-30 11:15:14
1874
转载 内存映射文件原理探索
一直都对内存映射文件这个概念很模糊，不知道它和虚拟内存有什么区别，而且映射这个词也很让人迷茫，今天终于搞清楚了。。。下面，我先解释一下我对映射这个词的理解，再区分一下几个容易混淆的概念，之后，什么是内存映射就很明朗了。 原理首先，“映射”这个词，就和数学课上说的“一一映射”是一个意思，就是建立一种一一对应关系，在这里主要是只 硬盘上文件 的位置与进程 逻辑地址空间 中一块大
2015-04-30 09:43:05
712
原创 spring注解时，如何手工获取bean
1、当我们的组件使用注解进行注入的时候，我们同样可以使用WebApplicationContextUtils 来获取对应的bean，名字默认是类名的驼峰格式(也可以在注解处显示指定名称)。例如在listener中，可以通过下面的方式获取bean1.监听器：public class ProjectInit implements ServletContextListener{ priva
2015-04-27 17:26:03
2026
原创 java web系统级初始化工作
通常我们在做web开发时，有些系统级参数希望在web启动时就进行一次性初始化，供整个工程调用使用。如，系统配置参数等。这时可以采用两种方式：一是定义一个servlet、另一种是使用监听器。方案一：使用servlet的方式应该不陌生，在web.xml中定义一个servlet，在init方法中把要初始化的东西写到里面；如： initServlet com.ifeng.crm
2015-04-27 17:12:51
2084
转载 如何恢复hadoop中被删除的文件
hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下：1 设置.Trash文件夹 如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： fs
2015-04-24 17:31:06
969
转载 [Hadoop源码解读]（五）MapReduce篇之Writable相关类
前面讲了InputFormat，就顺便讲一下Writable的东西吧，本来应当是放在HDFS中的。 当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要进行反序列化。Writable是Hadoop的序列化格式，Hadoop定义了这样一个Writable接口。public interface Writable {
2015-04-24 16:44:50
917
转载 [Hadoop源码解读]（四）MapReduce篇之Counter相关类
当我们定义一个Counter时，我们首先要定义一枚举类型：public static enum MY_COUNTER{ CORRUPTED_DATA_COUNTER, NORMAL_DATA_COUNTER }; 然后，我们就可以在mapper或reducer里面增加它的值：context.getCounter(MY_COUNTER.CORRUPTED_DATA_
2015-04-24 16:38:24
775
转载 [Hadoop源码解读]（三）MapReduce篇之Job类
下面，我们只涉及MapReduce 1，而不涉及YARN。当我们在写MapReduce程序的时候，通常，在main函数里，我们会像下面这样做。建立一个Job对象，设置它的JobName，然后配置输入输出路径，设置我们的Mapper类和Reducer类，设置InputFormat和正确的输出类型等等。然后我们会使用job.waitForCompletion()提交到JobTrac
2015-04-24 16:15:36
1026
转载 [Hadoop源码解读]（二）MapReduce篇之Mapper类
前面在讲InputFormat的时候，讲到了Mapper类是如何利用RecordReader来读取InputSplit中的K-V对的。 这一篇里，开始对Mapper.class的子类进行解读。先回忆一下。Mapper有setup()，map()，cleanup()和run()四个方法。其中setup()一般是用来进行一些map()前的准备工作，map()则一般
2015-04-24 14:29:02
1179
转载 HDFS追本溯源：HDFS操作的逻辑流程与源码解析
本文主要介绍5个典型的HDFS流程，这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。1. Client和NN Client到NN有大量的元数据操作，比如修改文件名，在给定目录下创建一个子目录，这些操作一般只涉及Client和NN的交互，通过IPC调用ClientProtocol进行。创建子目录的逻辑流程如下图：从图中可见，创
2015-04-24 11:44:59
1135
原创 virtualbox 克隆虚拟机
起初我觉得直接复制一个.vdi 虚拟硬盘再挂上去就可以了，没想到Virtualbox居然提示UUID重复，看起来就是有点像com生成的那种ID,查了一下，才知道原来不能这么用 可以通过Vritualbox自带的一个命令行工具解决，UI上没有提供对应的解决方案 1.定位到Vritualbox的安装目录，不能用全路径的方式直接执行该命令行 2.执行 Vboxmanage.exe clo
2015-04-24 10:56:05
972
1
转载 [Hadoop源码解读]（一）MapReduce篇之InputFormat
平时我们写MapReduce程序的时候，在设置输入格式的时候，总会调用形如job.setInputFormatClass(KeyValueTextInputFormat.class);来保证输入文件按照我们想要的格式被读取。所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat等等。
2015-04-24 10:26:12
711
转载 MapReduce直接连接MySQL获取数据
MySQL中数据：mysql> select * from linuxidc_tbls;+---------------------+----------------+| TBL_NAME | TBL_TYPE |+---------------------+----------------+| linuxidc_test_table
2015-04-23 16:50:36
4216
原创 使用Eclipse构建Maven项目
1、下载maven，配置maven环境；然后下载eclipse的maven插件m2eclipse，配置。如果使用了nexus，那么需要安装、配置nexus、并且把maven配置到nexus上。 如何安装配置nexus请看 点击打开链接 http://blog.csdn.net/liuxiao723846/article/details/45219043 2、使用eclipse创建简单
2015-04-23 11:53:14
628
原创 nexus安装、配置
1、下载nexus-latest-bundle.zip文件后，并解压到 D:\nexus下。2、配置nexus的环境变量：先配置NEXUS_HOME的环境变量，新建一个系统变量：NEXUS_HOME , 路径是：D:\nexus\nexus-2.8.0-05，再配置path环境变量，在path值的末尾添加"%NEXUS_HOME%\bin\jsw\windows-x86-64"3、配置完
2015-04-23 11:15:45
1015
原创 mapreduce输出结果到mysql
Mapreduce程序在reduce阶段执行后，默认会把结果输出到hdfs文件系统上(使用context.wirte())，如果要把结果写到mysql中，需要重写Writable、DBWritable这两个类中的方法。以wordCount程序为例，下面讲解如何把word和count输出到mysql中。1、首先在mysql中创建表test，结构如下test (id bigint(20),na
2015-04-22 16:54:46
1397
原创 easyui datagrid组件 单击行 让他不选中 只有单击checkbox的时候才选中
如上图，当单击行的时候，datagrid会默认选中该行。在easyui的api中，有两个参数：1、checkOnSelect 如果为true，当用户点击行的时候该复选框就会被选中或取消选中。 如果为false，当用户仅在点击该复选框的时候才会呗选中或取消。 2、selectOnCheck 如果为true，单击复选框将永远选择行。 如果为false，选择行将不选中复选框。根据
2015-04-22 09:39:27
10660
转载 mysql 存储过程调用实例
MySQL存储过程带in和out参数mysql> DELIMITER $$ mysql> USE test $$ Database changed mysql> DROP PROCEDURE IF EXISTS `sp_add`$$ Query OK, 0 rows affected (0.00 sec) mysql> CREATE PROCEDURE sp_add
2015-04-21 15:26:20
766
原创 mysql 动态执行sql
drop PROCEDURE if exists my_procedure; create PROCEDURE my_procedure() BEGIN declare my_sqll varchar(500); set my_sqll='select * from aa_list'; set @ms=my_sqll; PREPARE s1 from @ms; EX
2015-04-21 14:17:07
1738
转载 MyBatis mapper文件中的变量引用方式#{}与${}的差别
默认情况下,使用#{}语法,MyBatis会产生PreparedStatement语句中，并且安全的设置PreparedStatement参数，这个过程中MyBatis会进行必要的安全检查和转义。示例1：执行SQL：Select * from emp where name = #{employeeName}参数：employeeName=>Smith解析后执行的SQL：Select
2015-04-21 09:30:16
999
原创 jquery操作复选框(checkbox)的15个小技巧总结
1、获取单个checkbox选中项(三种写法)$("input:checkbox:checked").val()或者$("input:[type='checkbox']:checked").val();或者$("input:[name='ck']:checked").val();2、 获取多个checkbox选中项$('input:checkbox').each(f
2015-04-20 11:25:13
1394
原创 Hadoop气象数据
新版气象数据下载地址:ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/数据格式:2014 01 01 00 33 -23 -9999 0 -9999 -9999 -9999 02014 01 0
2015-04-17 13:30:44
1464
原创 搭建Eclipse下运行Mapreduce代码的环境
1、下载hadoop1.2.1.tar.gz文件，直接解压到D盘即可；2、编译对应版本的hadoop-eclipse插件(可以看下一片文章，如何编译hadoop-eclipse插件)。把编译好的jar拷贝到eclipse/plugins下，重启eclipse即可；3、若插件安装成功的话，打开Window-->Preferens，会发现Hadoop Map/Reduce选项，在这个选项里需要
2015-04-16 16:41:07
1148
转载 Win7 eclipse 调试远程Hadoop Failed to set permissions of path
hadoop1.2.1在windows远程调试linux的程序时，报错:12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/04/24
2015-04-16 15:23:12
700
转载 Java的随机读写文件-RandomAccessFile 与内存映射
RandomAccessFileRandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。RandomAccessFile不属于InputStream和OutputStream类系的。实际上，除了实现DataInput和 DataOutput
2015-04-15 23:23:30
937
转载 Java中用内存映射处理大文件
在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。package test; import java.io.BufferedInputStream; import java.io.FileInputStream;
2015-04-15 23:17:23
772
原创 java读写文件时nio、bio对比
1. 基本 概念 IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现，底层通过 I/O 指令进行完成。 所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 ) 2. Java 标准 io 回顾 Java 标准 IO 类库是 io 面向
2015-04-15 23:10:06
2736
原创 java NIO、BIO、AIO区别
java中的IO主要源自于网络和本地文件 IO的方式通常分为几种，同步阻塞的BIO、同步非阻塞的NIO、异步非阻塞的AIO 在JDK1.4出来之前，我们建立网络连接的时候采用BIO模式，需要先在服务端启动一个ServerSocket，然后在客户端启动Socket来对服 务端进行通信，默认情况下服务端需要对每个请求建立一堆线程等待请求，而客户端发送请求后，先
2015-04-15 22:35:56
6186
1
原创 HADOOP-RPC机制
一、RPC基本概念：1、RPC，即Remote Procdure Call，中文名：远程过程调用； （1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。 （2）Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode直接，Jobtracker与Tasktr
2015-04-14 18:14:09
1052
原创 java操作hdfs
在eclipse中创建一个java工程，然后导入hadoop中的7个jar包(如图)；如果为了方便调试hadoop源码，可以关联到hadoop的源码。引入hadoop安装包中的7个jar关联hadoop源码：1、使用URL的方式读取hdfs中的数据，这种方式和使用浏览器查看hdfs中的数据一样；缺点是只能读取，不能上传、删除等：public st
2015-04-14 16:17:30
1033
原创 eclipse常用 快捷键
1、alt+shift+L自动返回方法类型：在eclipse中“window”→“Preferences”→General→Keys→找到Extract Local Variable这个对应的快捷键2、alt+shift+M自动创建方法：在eclipse中“window”→“Preferences”→General→Keys→找到Extract Function这个对应的快捷键3、...
2015-04-14 15:39:01
869
转载 图片延时加载例子详解
有时候由于图片太大，我们需要一个友好的提示，提示用户图片正在加载中，那么以下通过引入jquery就能轻而易举的实现。其中需要3个js：jquery.min1.7.1.js、jquery.lazyload.js、image.lazyload.js代码如下：[html] view plaincopy> html>
2015-04-14 09:33:39
781
原创 hadoop1.2.1伪分布式安装
1、安装虚拟机、OS环境：1）安装virtualbox虚拟机，配置网络2）安装centos系统3）安装jdk，配置环境变量4）ssh互信： 1>ssh-keygen -t rsa在~/.ssh目录下产生了秘钥id_rsa.pub 2>复制秘钥给对方(自己)作为公钥：cp id_rsa.pubauthorized_keys 3>验证 ssh localhost
2015-04-12 22:09:23
990
转载 HDFS的存储结构以及写入、读取hdfs数据操作流程简单总结
一、NameNode数据结构1、物理结构${dfs.name.dir}/current/{VERSION,edits,fsimage,fstime}dfs.name.dir是一个目录列表，存储每个目录的镜像。VERSION文件是Java属性文件,包含运行HDFS的版本信息。edits，是编辑日志文件。当客户断执行写操作的时，NameNode首先会在编辑日志中写下记录，并
2015-04-12 21:57:18
2700
转载 上传文件到HDFS方式
hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有三种方法：1、 hadoop自带的dfs服务，put；2、 hadoop的API，Writer对象可以实现这一功能；3、 调用OTL可执行程序，数据从数据库直接进入hadoop 将1、2方案进行对比，如下：
2015-04-12 17:40:58
7414
转载 HDFS读书笔记-如何让NameNode高可用（三）
高可用名字听着挺虚，目的很简单，让应用或服务在任何时候都可以提供服务。 NameNode最关键的问题在于有单点的风险，一旦NameName挂掉，整个HDFS都无法提供服务。大脑坏掉了，身体也是无法行动的。 对于高可用的方案，业界一般通常使用两种类型的手段。 1：主备（Master-Slave） 2：集群（Cluster）
2015-04-12 17:35:03
1663
macOS eclipse Launcher
2023-12-18
parquet-tools-1.6.0rc3.zip
2020-07-24
jQuery-Plugin-For-Easily-Readable-JSON-Data-Viewer.zip
2019-12-31
yesmeck-jquery-jsonview-v1.2.3-14-g01b1eb8.zip
2019-12-30
linux解析json工具——jq
2017-09-16
jquery 全屏显示插件
2015-03-20
apache-maven-3.2.3-bin
2014-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人