2016年07月_lijieshare

【史上最详细的sqoop导入数据到hive中（二）】

1）将数据从关系数据库导入文件到hive表中Table 1. Common argumentsArgumentDescription--connect <jdbc-uri>Specify JDBC connect string--connection-manager <class-name>Specify connect...

2016-07-31 20:45:40 624

【史上最详细的sqoop命令讲解（一）】

一、sqoop 命令知多少[root@hadoop0 bin]# ./sqoopWarning: /opt/bigdata/sqoop-1.4.6/bin/../../hcatalog does not exist! HCatalog jobs will fail.Please set $HCAT_HOME to the root of your HCatalog installat...

2016-07-31 20:10:28 994

【统计分析系统--SAS介绍】

一、SAS介绍基本介绍SAS(全称STATISTICAL ANALYSIS SYSTEM，简称SAS)是全球最大的软件公司之一，是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。1976年SAS软件研究所(SAS INSTITUTE INC。)成立，开始进行SAS系统的维护、开发、销售和培训工作。期间经历了许多版本，并经过多年来的完善和发展，SAS系统在国际上已...

2016-07-30 21:38:38 1120

【zookeeper在kafka中的作用】

一、zookeeper在kafka中的作用1)Broker注册Broker在zookeeper中保存为一个临时节点，节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的IP以及端口等信息. 2)Topic注册在kafka中,一个topic会被分成多个区并被分到多个broker上，分区的信息以及broker的分布情况都保存在zookee...

2016-07-30 21:16:30 209

【Wireshark -网络分析】

一、Wireshark介绍Wireshark（前称Ethereal）是一个网络封包分析软件。其开发者是GeraldCombs，网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。网络封包分析软件的功能可想像成 "电工技师使用电表来量测电流、电压、电阻" 的工作 - 只是将场景移植到网络...

2016-07-29 22:19:15 141

【反射的应用场景（一）】

一、应用场景Redis缓存系统中使用Json字符串中存储一些缓存信息，减少数据库压力。但是数据库可能会定时更新，数据库只有只读权限，没法知道哪些数据库更新了，一种解决方案：定期遍历数据库数据，覆盖缓存，特点是快，缺点是没法知道哪些数据更新了第二种解决方案：数据库中遍历的值和缓存系统的值进行比较，记录变化数据，此时可以使用数据库作为外层循环或者使用缓存系统作为外层循环，缺点是慢，优点是知...

2016-07-28 20:49:14 123

【版本控制工具--git】

一、官方介绍Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and efficiency.Git is easy to learn and has a tin...

2016-07-28 20:09:59 156

【Java消息服务(Java Message Service)--JMS介绍】

一、JMS简单介绍JMS即Java消息服务(Java Message Service)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。 Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分...

2016-07-27 19:42:16 179

【Zookeeper在storm中扮演的角色】

一、Zookeeper在storm充当的作用Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper，使得nimbus可以监控整个storm集群的状态，从而可以重启一些挂掉的t...

2016-07-27 19:30:37 319

【PHP之连接Mysql数据库】

一、环境验证二、程序源码(备注:meta解决中文乱码问题) <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <?php echo "This is a test</br>"; echo "测试php连接Mysql读.

2016-07-26 19:43:43 94

【JNI技术介绍】

一、JNI 简介JNI是Java Native Interface的缩写，它提供了若干的API实现了Java和其他语言的通信（主要是C&C++）。从Java1.1开始，JNI标准成为java平台的一部分，它允许Java代码和其他语言写的代码进行交互。JNI一开始是为了本地已编译语言，尤其是C和C++而设计的，但是它并不妨碍你使用其他编程语言，只要调用约定受支持就可以了。使用java与...

2016-07-26 19:27:49 171

【Python 语言简介】

一、语言定义Python是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年发明二、运行原理（.py ----> .pyc）Python在执行时，首先会将.py文件中的源代码编译成Python的byte code（字节码），然后再由Python Virtual Machine（Python虚拟机简称为PVM）来执行这些编译好的byte...

2016-07-25 22:44:43 123

【python安装操作】

一、官方介绍Python is a programming language that lets you work quickly and integrate systems more effectively. 二、安装（为了方便，图片copy网上）1）现在python官网上下载和自己本机匹配的python版本，看好自己的机器是64为的还是32位的下载好了python安装...

2016-07-25 22:22:15 94

【Apache-Nutch 简要介绍】

一、Nutch介绍What is Apache Nutch?Apache Nutch is a highly extensible and scalable open source web crawler software project. Stemming from Apache Lucene, the project has diversified and now comprise...

2016-07-24 15:44:23 598

【JAVA 版本--雷人面试】

目的：工作学习累了，娱乐娱乐一下，所谓隔行与隔山。面试官：熟悉哪种语言应聘者：Java。面试官：知道什么叫类么应聘者：我这人实在，工作努力，不知道什么叫累面试官：知道什么是包?应聘者：我这人实在平常不带包也不用公司准备了面试官：知道什么是接口吗?应聘者：我这个人工作认真。从来不找借口偷懒M：知道什么是继承么Y：我是孤儿没什么可以继承的M:知道什么叫对象么？M:知道，不过我工作努力...

2016-07-24 15:40:12 101

【Solr 安装玩转】

一、Solr安装1)下载[root@hadoop0 bigdata]# wget http://mirrors.hust.edu.cn/apache/lucene/solr/5.5.2/solr-5.5.2.zip--1999-06-15 20:06:19-- http://mirrors.hust.edu.cn/apache/lucene/solr/5.5.2/solr-5.5....

2016-07-23 21:46:54 110

Hive 基本命令操作（二）

hive操作一、创建元数据保存在Mysql中 1)修改配置文件  <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.1....

2016-07-23 11:21:04 312

虚拟化技术介绍

一、虚拟化介绍虚拟化是指计算机元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。二、应用场景虚拟化技术是云计算的基础。云计算是网格计算、分布式计算、并行计算、效用计算、网...

2016-07-20 22:07:46 245

【Jstorm 入门例子】

一、检查硬盘空间，启动jstorm环境[root@hadoop0 ~]# cd /opt/bigdata/[root@hadoop0 bigdata]# lsapache-flume-1.6.0-bin apache-hive-2.0.1-bin.tar.gz hadoop272 hbase-1.1.5-bin.tar.gz jstorm-0.9.6....

2016-07-20 21:46:39 291

Spring Security is a framework that focuses on providing both authentication and authorization to Java applications. Like all Spring projects, the real power of Spring Security is found in how easily...

2016-07-20 00:05:30 94

oracle数据库常用的99条查询语句

1.查询所有员工的所有信息select * from emp; 2.查询所有员工的工号，姓名和工作select empno, ename, job from emp; 3. select empno 编号, ename 姓名, job 工作 from emp; 4. select job from emp; 5. select distinct job f...

2016-07-15 23:17:03 189

辗转相除法

辗转相除法，又名欧几里德算法（Euclidean algorithm）乃求两个正整数之最大公因子的算法。它是已知最古老的算法，其可追溯至3000年前。设两数为a、b(a>b)，求a和b最大公约数(a，b)的步骤如下：用a除以b，得a÷b=q......r1(0≤r1)。若r1=0，则(a，b)=b；若r1≠0，则再用b除以r1，得b÷r1=q......r2 (0≤r2）.若...

2016-07-15 23:02:43 419

迪杰斯特拉算法

迪杰斯特拉算法简介迪杰斯特拉算法是由荷兰计算机科学家狄克斯特拉于1959 年提出的，因此又叫狄克斯特拉算法。是从一个顶点到其余各顶点的最短路径算法，解决的是有向图中最短路径问题。迪杰斯特拉算法主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。迪杰斯特拉算法原理 1.首先，引入一个辅助向量D，它的每个分量 D 表示当前所找到的Dijkstra算法运行动画过...

2016-07-14 21:53:50 1014

计算机科学中最重要的32个算法

计算机科学中最重要的32个算法A* 搜索算法——图形搜索算法，从给定起点到给定终点计算出路径。其中使用了一种启发式的估算，为每个节点估算通过该节点的最佳路径，并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此，A*搜索算法是最佳优先搜索的范例。集束搜索（又名定向搜索，Beam Search）——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只...

2016-07-14 21:32:03 109

【CAS简介】

一、CAS简介CAS （ Central Authentication Service ）是 Yale 大学发起的一个企业级的、开源的项目，旨在为 Web 应用系统提供一种可靠的单点登录解决方法（属于 Web SSO ）。CAS 开始于 2001 年，并在 2004 年 12 月正式成为 JA-SIG 的一个项目。二、什么是SSO单点登录（ Single Sign...

2016-07-12 21:36:34 182

Apache Shiro 简介

一、简介Apache Shiro（日语“堡垒（Castle）”的意思）是一个强大易用的Java安全框架，提供了认证、授权、加密和会话管理功能，可为任何应用提供安全保障 - 从命令行应用、移动应用到大型网络及企业应用。Shiro为解决下列问题（我喜欢称它们为应用安全的四要素）提供了保护应用的API：认证 - 用户身份识别，常被称为用户“登录”；授权 - 访问控制；密码加密 - 保护或隐藏数据防...

2016-07-12 21:30:13 119

Linux修改IP--网关--DNS

修改IP地址和网关是很常见的操作，在做相关实验的时候，如果没有设置好，会带来很多不必要的麻烦.. 1. 修改IP地址vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneBROADCAST=192.168.1.255IPADDR=192.168.1.33NETMASK=255.2...

2016-07-09 17:58:46 137

JVM 调优简介

一、常用的垃圾回收算法有：(1).引用计数算法：给对象中添加一个引用计数器，每当有一个地方引用它时，计数器值就加1；当引用失效时，计数器值就减1；任何时刻计数器都为0的对象就是不再被使用的，垃圾收集器将回收该对象使用的内存。引用计数算法实现简单，效率很高，微软的COM技术、ActionScript、Python等都使用了引用计数算法进行内存管理，但是引用计数算法对于对象之间相互循环引...

2016-07-09 17:48:37 74

【JVM深入研究--体系结构】

JAVA体系结构 JAVA内存结构 1.方法区也称"永久代” 、“非堆”，它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB，可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。运行时常量池：是方法区的一部分，Class文件中除了有类的版本、字段、方...

2016-07-08 22:40:18 90

Zookeeper3.4.6之源码解读(二)

一、问题描述：最近使用storm之后发现zookeeper总是出现警告，故此跟踪了一下源码，知道问题产生在哪里。警告信息如下：2014-09-19 13:41:29,400 [myid:1] - WARN [SyncThread:1:FileTxnLog@321] - fsync-ing the write ahead log in SyncThread:1 took 4575ms w...

2016-07-08 22:25:12 488

Zookeeper3.4.6 源码解读

一、入口类是Main方法，读取zoo.cfg文件org.apache.zookeeper.server.quorum.QuorumPeerMain public static void main(String[] args) { QuorumPeerMain main = new QuorumPeerMain(); main.initialize...

2016-07-07 20:32:43 269

Kerberos简介

1、Kerberos简介Keberos是为TCP/IP网络系统设计的可信的第三方认证协议。网络上的Keberos服务基于DES对称加密算法，但也可以用其他算法替代。因此，Keberos是一个在许多系统中获得广泛应用的认证协议，Windows2000就支持该协议。 2、Kerberos的组成Kerberos应用程序库：应用程序接口，包括创建和读取认证请求，以及创建safe m...

2016-07-07 20:03:57 481

Apache Solr介绍

1、Solr介绍Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 2、Solr特点Solr是一个高性能，采用Java5开发，Solr基于Lucene的全文搜索服务器。同时对其进...

2016-07-06 21:47:31 218

ZeroMQ 简介

一、ZeroMQ 的背景介绍　　引用官方的说法： “ZMQ (以下 ZeroMQ 简称 ZMQ)是一个简单好用的传输层，像框架一样的一个 socket library，他使得 Socket 编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ 的明确目标是“成为标准网络协议栈的一部分，之后进入 Linux 内核”。现在还未看到...

2016-07-06 21:42:39 189

Apache Mina介绍

一、Apache Mina介绍Apache Mina是一个能够帮助用户开发高性能和高伸缩性网络应用程序的框架。它通过Java nio技术基于TCP/IP和UDP/IP协议提供了抽象的、事件驱动的、异步的API。 ApacheMINA是一个网络应用程序框架，用来帮助用户简单地开发高性能和高可扩展性的网络应用程序。它提供了一个通过Java NIO在不同的传输例如TCP/IP和UDP/IP...

2016-07-05 19:26:50 193

【Netty基础介绍】

一、Netty介绍Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化和流线化了网络应用的编程开...

2016-07-05 19:16:11 147

【Squid介绍】

1、Squid是什么?　　Squid是一种用来缓冲Internet数据的软件。它是这样实现其功能的，接受来自人们需要下载的目标（object）的请求并适当地处理这些请求。也就是说，如果一个人想下载一web页面，他请求Squid为他取得这个页面。Squid随之连接到远程服务器（比如：http：//squid.nlanr.net/）并向这个页面发出请求。然后，Squid显式地聚集数据到客户端机...

2016-07-04 21:23:12 141

【HAProxy简介】

1、HAProxy简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不...

2016-07-04 21:12:09 97

【JAVA操作数据库之JDBC基础代码】

package demo.tt; import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.Statement; public class DBUtil {...

2016-07-03 21:14:06 79

【Jstorm-0.9.6.2基本安装】

一、下载[root@hadoop0 bigdata]# lsapache-flume-1.6.0-bin apache-hive-2.0.1-bin.tar.gz hbase-1.1.5-bin.tar.gz jstorm-0.9.6.2.zip sqoop-1.4.6 stomr096 ...

2016-07-03 20:46:55 156

空空如也

单点登录

充分利用数据库主键