FeelTouch Labs

转载 ubuntu（linux）下source、sh、bash、./执行脚本的区别

ubuntu（linux）下source、sh、bash、./执行脚本的区别是什么，如何运行shell程序，如何在shell程序以及后续脚本中使用同一个变量，这些在工作中经常用到， 我找到如下的文章，再加深复习一下。1.source命令用法：source FileName作用:在当前bash环境下读取并执行FileName中的命令。该filename文件可以无”执行权限”注：该命令通常用命令“.”来

转载 每天一个linux命令（50）：crontab命令

转自：http://www.cnblogs.com/peida/archive/2013/01/08/2850483.html前一天学习了 at 命令是针对仅运行一次的任务，循环运行的例行性计划任务，linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务

转载 利用sqoop将hive数据导入导出数据到mysql

运行环境  centos 5.6   hadoop  hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20

原创 java---使用日志输出信息的方法

先初始化，再使用！

转载 Hive基本命令整理

创建表： hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表，结构与其他一样 hive> create table new_ta

原创 Hadoop开发过程中遇到的问题和解决方法

先上正确运行的显示： 错误1：变量为IntWritable，接收的是LongWritable，如下图： 原因，多写了参数reporter，如下图： 错误2：数组超出边界，如下图： 原因：设置了combine类，如下图： 错误3：nullpointerexception异常，如下图： 原因：静态变量为null，赋值即可，如下图： 错误4：进入了map，但是无法

原创 Linux---修改用户的密码

附件参考：创建用户、设置密码、修改用户、删除用户： useradd testuser 创建用户testuser passwd testuser 给已创建的用户testuser设置密码 说明：新创建的用户会在/home下创建一个用户目录testuser usermod –help 修改用户这个命令的相关参数 userdel testuser 删除用户testuser rm -rf test

原创 Linux---如何将普通用户加入root用户组

红框处为加入的代码。

转载 程序员常去的14个顶级开发社区

转自： http://www.codeceo.com/article/14-communities-programmer-go.html作为程序员，选择好合适的开发社区对提高自己的编程能力会有很大的帮助，我也说不出为什么，但是一些优秀的实时开发社区确实能帮你积累不少开发经验。下面这张图列出了14个程序员经常逛的顶级开发社区，作为程序员，你应该要了解其中一个或者最好是多个，并且学会使用它们，利用里面的

原创 Git步步进阶---简明 Git 命令速查表（中文版）

创建复制一个已创建的仓库:$ git clone ssh://[email protected]/repo.git 创建一个新的本地仓库:$ git init 本地修改显示工作路径下已修改的文件：$ git status 显示与上次提交版本文件的不同：$ git diff 把当前所有修改添加到下次提交中：$ git add 把对某个文件的修改添加到下次提交中：$ git add -p 提交

转载 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

原创 cent OS中利用yum安装tree命令

原创 mysql---mysql -e详解

可以用shell脚本操作mysql数据库，使用mysql的-e参数可以执行各种sql的(创建，删除，增，删，改、查)等各种操作 。用法mysql  -hhostname -Pport -uusername -ppassword  -e  相关mysql的sql语句，不用在mysql的提示符下运行mysql，即可以在shell中操作mysql的方法。实例：#!/bin/bas

原创 JAVA---hashset的类结构

hashset与set的关系：

转载 Centos 6.2 安装Mysql笔记

1、安装命令# yum install mysql-server mysql2、查看是否安装正确# chkconfig --list mysqld 3、启动 (1)、启动服务：# service mysqld start  (2)、停止服务: # mysqladmin -u root -p shutdown

转载 Hive安装与配置——深入浅出学Hive

目录：初始HiveHive安装与配置Hive 内建操作符与函数开发Hive JDBChive参数Hive 高级编程Hive QLHive Shell 基本操作hive 优化Hive体系结构Hive的原理 配套视频课程 第一部分：软件准备与环境规划Hadoop环境介绍

转载 hive搭建笔记（ubuntu）

在hadoop单机环境搭建成功后，可以搭建hive。在hdfs上建目录：[plain] view plaincopy$ hadoop fs -mkdir /tmp  $ hadoop fs -mkdir /user/hive/warehouse  添加权限：[plain] view plaincopy

转载 Centos下安装MySQL

安装环境：Linux服务器CentOS 5.5安装版本：mysql-5.5.8.tar.gz1、安装 cmake 编译器。1)、下载cmake#cd /usr/local/src#wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz2)、解压cmake#tar -zvxf cmake-

转载 Centos下MySQL使用总结

一、MySQL安装    Centos下安装mysql 请点开:http://www.centoscn.com/CentosServer/sql/2013/0817/1285.html二、MySQL的几个重要目录     MySQL安装完成后不象SQL Server默认安装在一个目录，它的数据库文件、配置文件和命令文件分别在不同的目录，了解这些目

转载 MapReduce编程基础

. WordCount示例及MapReduce程序框架 首先通过一个简单的程序来实际运行一个MapReduce程序，然后通过这个程序我们来哦那个结一下MapReduce编程模型。下载源程序：/Files/xuqiang/WordCount.rar，将该程序打包成wordcount.jar下面的命令,随便写一个文本文件，这里是WordCountMrtrial，并上传到hdfs上，这里的路径是

转载 StringBuilder的实现与技巧

在上一篇进一步了解String 中,发现了string的不便之处,而string的替代解决方案就是StringBuilder的使用..它的使用也很简单System.Text.StringBuilder sb = new System.Text.StringBuilder();这样就初始化了一个StringBuilder ..之后我们可以通过Append()来追加字符串填充到sb中..在你初始化

转载 hadoop 伪分布式环境配置

http://xuyuanshuaaa.iteye.com/blog/1063303一. 概要        经过几天的调试，终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境。本次测试在一台服务器上进行伪分布式搭建。Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop 本身是无

转载 Hadoop学习笔记之在Eclipse中远程调试Hadoop

插件话说Hadoop 1.0.2/src/contrib/eclipse-plugin只有插件的源代码，这里给出一个我打包好的对应的Eclipse插件：下载地址下载后扔到eclipse/dropins目录下即可，当然eclipse/plugins也是可以的，前者更为轻便，推荐；重启Eclipse，即可在透视图(Perspective)中看到Map/Reduce。配置

转载 hadoop启动后jps没有namenode

hadoop启动后jps没有namenode一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决：1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/curre

转载 hadoop2.5.2+zookeeper3.4.6+hbase0.99.2

一、hadoop安装参考http://blog.csdn.net/bahaidong/article/details/41865943二、zookeeper安装用户为hadoop，安装目录为/opt下面上传安装文件到/opt下面root用户解压[root@master opt]$ tar -zxvf zookeeper-3.4.6.tar.gz 

转载 eclipse 下安装hadoop2.5.2插件

其实更好的方法是：网上有现成的插件下载下来完美可用！但还是要学习：一.hadoop集群环境配置(完整配置参考上一篇博客) 1.在master节点上(master)修改hdfs-site.xml加上以下内容  dfs.permissions false  旨在取消权限检查，原因是为了解决我在windows机器上配置eclipse连接hadoop服务器时，配置map

转载 CentOS 7.0编译安装配置mysql-5.6.20

首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb步骤。#列出所有被安装的rpm packagerpm -qa | grep mariadb#卸载rpm -e mariadb-libs-5.5.37-1.el7_0.x86_6

转载 HDFS分布式文件系统常用命令

1、列出本地文件系统命令：[hadoop@master hadoop-2.5.2]$ bin/hadoop fs -ls file:///2、查看文件系统组成各个文件的块：[hadoop@master hadoop-2.5.2]$ bin/hadoop fsck / -files -blocks3、将本地文件，复制到HDFS中：[hadoop@maste

转载 hadoop2.5.2下安装Hive0.14

1、安装hadoop环境http://blog.csdn.net/bahaidong/article/details/418659432、安装mysqlhttp://write.blog.csdn.net/postedit/420997893、Hive0.14下载地址，及解压http://mirrors.cnnic.cn/apache/hive/stab

转载 JAVA 正则表达式 （超详细）

新网站上线 欢迎大家网站交易中心 在这里你可以购买或者出售你的网站。网站信息发布中心 在这里有各种交易信息的发布。同时提供一些软件的免费使用（附有源码）。网站博客系统 这里你可以注册自己的博客。一个账户无限量博客联系方式：[email protected]:563828566MSN:[email protected] 

转载 Linux 常用的网络命令

主要有以下几个命令：　　ifconfig：查询、设置网卡和IP网段等相关参数。ifup、ifdown：这两个文件是，通过更简单的方式来启动网络接口。Route：查询、设置路由表（Route table）。ip：复合式的命令，能直接修改上述命令提到的功能。　　因为内容有点多，就整理、摘录了一些要点，如下所示：　　ifconfig、ifup、ifdown 这 3个命令都用于启动

转载 hadoop 2.5.2 + hive1.1.0 单机环境安装步骤

环境 - ubuntu server 14.04- mysql-第一步 添加hadoop组和用户1 创建Hadoop用户组stat@localhost:/usr/lib/jvm/jdk1.7.0_79$ sudo addgroup hadoop #[sudo] password for stat: Adding group `hadoop' (GID 1

转载 hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令

sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown

转载 ssh localhost 免密码登陆（图解）

每次搞ssh locahost无密码登陆都要查半天，这次记录一下，以备不时之需假设系统中有用户test，属于用户组test，1. 首先确认能否不输入口令就用ssh登录localhost:$ ssh localhost输出如下所示：2. 如果不输入口令就无法用ssh登陆localhost，执行下面的命令：$ ssh-keygen -t dsa -P '' -f ~/...

转载 Hadoop---Hadoop中的各种排序

本篇博客是金子在学习hadoop过程中的笔记的整理，不论看别人写的怎么好，还是自己边学边做笔记最好了。1：shuffle阶段的排序（部分排序）shuffle阶段的排序可以理解成两部分，一个是对spill进行分区时，由于一个分区包含多个key值，所以要对分区内的按照key进行排序，即key值相同的一串存放在一起，这样一个partition内按照key值整体有序了。

转载 Hadoop---mapreduce排序和二次排序以及全排序

转自：http://blog.csdn.net/evo_steven/article/details/17139123自己学习排序和二次排序的知识整理如下。1.Hadoop的序列化格式介绍:Writable2.Hadoop的key排序逻辑3.全排序4.如何自定义自己的Writable类型5.如何实现二次排序1.Ha

转载 Linux命令---iostat命令详解

简介iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 语法iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -

原创 Mysql中的笔试和面试---数据库设计规范化的五个要求

一：表中应该避免可为空的列；二：表不应该有重复的值或者列；三：表中记录应该有一个唯一的标识符　　在数据库表设计的时候，数据库管理员应该养成一个好习惯，用一个ID号来 唯一的标识行记录，而不要通过名字、编号等字段来对纪录进行区分。每个表都应该有一个ID列，任何两个记录都不可以共享同一个ID值。另外，这个ID值最 好有数据库来进行自动管理，而不要把这个任务给前台应用程序。否则的

转载 LIBRARY_PATH和LD_LIBRARY_PATH环境变量的区别

LIBRARY_PATH和LD_LIBRARY_PATH是Linux下的两个环境变量，二者的含义和作用分别如下：LIBRARY_PATH环境变量用于在程序编译期间查找动态链接库时指定查找共享库的路径，例如，指定gcc编译需要用到的动态链接库的目录。LD_LIBRARY_PATH环境变量用于在程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径，注意，LD_LIBRAR

转载 UML类图几种关系的总结

在UML类图中，常见的有以下几种关系: 泛化（Generalization）,  实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency)         1. 泛化（Generalization）        【泛化关系】：是一种继承关系，表示一般与特殊的关系，它指定了子类如何特