wangfeinilin-CSDN博客

原创 CentOS通过命令行连接无线

1.关闭NetworkManager服务，打开network服务，以root权限执行 #chkconfig --level 2345 NetworkManager off #chkconfig --level 2345 network on #service NetworkManager stop #service network start2.检查无线网卡驱动是否安

2014-10-14 13:21:00 1481

原创 hive中对复杂数据类型的支持

hive提供了复合数据类型：struct:struct内部的数据可以通过DOT(.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，可以通过c.a来访问域amap（Key-Value对):访问指定域可以通过["指定域名称"]进行，例如，一个map M包含了一个group->gid的kv对，gid的值可以通过M['group']来获取array:array中的数

2014-07-28 21:55:00 713

原创 linux中c/c++连接mysql示例程序

#include #include #include int main(){ MYSQL mysql; MYSQL_RES *res; MYSQL_ROW row; char *query; int t; mysql_init(&mysql);/*connection*/ if(!mysql_real_connect(&

2014-07-18 16:19:38 818

原创 Shark简介

简介Shark是一个新的数据分析系统，在集群上进行查询处理和复杂分析。Shark使用一种新的分布式内存抽象，为SQL查询和复杂分析函数提供了统一的运行引擎，并能够有效的容错。这种新的分布式内存抽象使得shark执行SQL查询的速度比Hive快100倍，执行机器学习算法比Hadoop快100倍。与之前的系统不同，shark在取得如此良好性能的同时尽可能的保留了类似于mapreduce的执行框架，

2014-04-01 17:32:22 2382

原创 eclipse通过jdbc连接shark

与我的上一篇文章eclipse通过jdbc连接hive完全一样首先要启动shark的server./bin/shark --service sharkserver 12999 （使用12999端口 hive使用的是10000端口）导入的jar包如上文所示程序如上文所示只需要修改Connection conn=DriverManager.getConnecti

2014-03-11 16:56:02 1334

原创 eclipse通过jdbc连接hive

hive使用的是0.9.0版本打开HiveServer服务hive --service hiveserver在eclipse的工程中导入需要的jar包hive/lib文件夹下的有：antlr-runtime-3.0.1.jarhive-exec-0.9.0.jarhive-jdbc-0.9.0.jarhive-metastore-0.9.0.jarhiv

2014-03-11 16:19:49 980

原创 shark执行drop table if exists table XX会报错？

在hive中执行drop table if exists table XX 无论XX表存不存在都能够执行成功。在shark中执行drop table if exists table XX 当XX表存在的时候能够将XX表删除当XX表不存在的时候，则会报错ERROR.metadata.Hive:NoSuchObjectException(message:default.XX table not

2014-03-07 09:42:03 5277 1

原创无线网络加密技术总结

无线网络加密技术应该是所有无线网民索要想要了解的，但是对于大多数普通的无线网络用户都不是很清楚，或许不知道在什么情况下应该用哪一种方法。那么下面就将为大家介绍3种方法。　　无线网络加密技术之 WEP(有线等效加密)　　尽管从名字上看似乎是一个针对有线网络的安全选项，其实并不是这样。WEP标准在无线网络的早期已经创建，目标是成为无线局域网WLAN的必要的安全防护层，但是WEP的表现无疑令人

2014-03-04 09:57:27 1976

原创 puppet安装使用

Yum install ntpChkconfig ntpd onNtpdate pool.ntp.orgService ntpd startYum install rubyYum install ruby ruby-libs ruby-rdocWget http://yum.puppetlabs.com/el/6/products/x86-64/puppetlabs-rel

2014-03-04 09:50:59 719

原创 Hive安装

Hive只需要在一个节点上安装，本文指定在主机名为Master，用户名为cloud的环境下安装。版本：mysql：5.1.66mysql-server：5.1.66mysql-connector-java：5.1.17hive：0.12.0 Hive安装过程概览1.安装配置mysql和mysql-server2.安装mysql-connect-java

2014-03-03 17:12:52 754

原创 Tez安装

1. 部署hadoop 2.2.0版本。注意修改tez的”pom.xml”中”hadoop.version”为当前环境下的版本号，默认情况下无需修改。2. 在tez主文件下采用“mvn clean install -DskipTests=true -Dmaven.javadoc.skip=true”建立tez，下载jar包。先安装maven，然后需保证在联网情况下安装。问题： protoc

2014-03-03 17:11:09 2912

转载 Tez调研报告

1.系统介绍Tez是Apache最新开源的支持DAG作业的计算框架，是Stinger的一部分,它建立在Apache Hadoop 2.0(YARN)之上。 TEZ的核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Ou

2014-03-03 17:07:42 2089

原创 HIVE理解

Hive1.Hive简介Hive是一个基于Hadoop文件系统上的数据仓库架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换、加载）工具、数据存储管理、大型数据集的查询与分析能力、类SQL语言（HQL，允许自定义mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作）。2.Hive体系结构说明：1.用

2014-03-03 17:05:59 1416

转载 Spark

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。1.Spark的特点具体特点概括为“轻、快、灵和巧”。轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，2.0为22万行。一方面，感谢Scala语言的简洁和丰富表达力；另一方面，Spark很好地

2014-03-03 17:02:11 1043

原创 Spark0.8.1+Shark0.8.1安装文档

Spark是一个高效的分布式计算系统，相比Hadoop，它在性能上比Hadoop号称要高 100倍。Spark提供比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。Spark团队发布了0.8.1版本，支持YARN2.2。这个小更新版本，依然基于 Scala 2.9。Spark依赖Java，Scala，同时有必要配备一个HDFS。

2014-03-03 16:32:42 1267