- 博客(159)
- 资源 (17)
- 问答 (1)
- 收藏
- 关注
RSS订阅翻译 Ranger-kafka-plugin
ranger如何对在非安全模式下的kafka进行授权操作这部分主要是关于ranger如何对非安全模式下的kafka进行授权操作。1. 我可以通过ranger对非安全模式下的kafka进行访问控制？可以通过指定Ip地址对访问进行控制。2. 我可以通过ranger的用户/用户组来对非安全模式下的kafka进行访问控制？不能通过基于用户/用户组的条件来对非安全模式下的kafka进行控制，因为在非安全模式下
2016-11-19 23:34:09
3606
原创 JAVA jar文件打包详解
jar文件简介JAR就是Java ARchive。它能让你把一组类文件包装起来，所以交付时只需要一个Jar文件。创建可执行的（简单程序）JAR(HelloWord)1. 确定要打包为jar的所有类文件在相同目录下。2. 创建manifest.txt来描述哪个类滴啊有main方法。Mian-Cliss：（这里要有空格）类名（注意没有加.class后缀）Mian-Cliss： HelloWord3.
2016-11-10 22:03:48
790
原创 Sqoop将SqlServer数据导入HDFS
环境准备1.下载jdbc的sqlserver驱动 在HDFS与SqlServer数据库之间导入数据，需要下载jdbc的sqlserver驱动。并将jar文件拷入/var/local/hadoop/sqoop-1.4.6/lib2.但是这个只是jdbc中SqlServer的驱动，它并不支持HDFS与SqlServer数据库之间数据的传输，还需要下载 SQL Server-Hadoop Conne
2016-11-05 17:10:59
1284
原创 Mysql必知必会（笔记）【SQL游标】
mysql被oracle收购后，从mysql-5.5开始,将InnoDB作为默认存储引擎，是一次比较重大的突破。InnoDB作为支持事务的存储引擎，拥有相关的 RDBMS特性：包括ACID事务支持，数据完整性（外健），灾难恢复能力等特性。一 什么是游标(cursor)一个cursor,就是一个标识，用来标识数据取到什么地方了。你也可以把它理解成数组中的下标。二 游标(cursor)的特性1,只读的
2016-10-31 11:25:06
557
原创 Mysql必知必会（笔记）【管理事务处理】
1. 什么是事务？事务是不可被分割的逻辑单元而被执行的一组SQL语句，要么同时执行成功要么撤销。2. 事务的四个特性（ACID）？1、原子性：构成一个事务的所有语句应该是一个独立的逻辑单元，要么全部执行成功，要么一个都不成功。你不能只执行它们当中的一部分。2、稳定性(一致性): 数据库在事务开始执行之前和事务执行完毕之后都必须是稳定的。换句话说，事务不应该把你的数据库弄得一团糟。 3、隔离性
2016-10-30 23:05:21
392
原创 mysql更改引擎(InnoDB,MyISAM)的方法
mysql默认的数据库引擎是MyISAM，不支持事务和外键，也可使用支持事务和外键的InnoDB。 查看当前数据库的所支持的数据库引擎以及默认数据库引擎 show engines; 在建表的时候指定或者建完表修改数据库引擎：建表的时候指定 create table 表名(字段列表)type=MyISAM; 修改数据库引擎 alter table
2016-10-30 22:14:01
635
原创 linux 重启网卡 Device eth0 has different MAC address than expected,
错误解释：这个提示是指网口的mac地址已经变化，但是设备名称没有变化，导致设备名称和mac地址无法匹配，linux无法挂载该网口。换种说法就是该网口的配置文件里的mac地址和该网口实际的mac地址不符合。 这种情况一般发生在虚拟机迁移，或者更换网卡的时候，解决方案如下：1：记录网口的实际地址，执行ifconfig eth0 其中HWaddr后面就是网口实际的mac地址2：更改配置文件中的m
2016-10-29 21:47:37
9234
1
原创 Java设计模式之策略模式
1. 设计模式入门设计模式不是代码的具体实现，它是解决某一类问题的通用设计方案。 设计模式的本质目的是：使软件工程在维护性、扩展性、变化性、复杂度方面成0（N） OO设计是原则，设计模式是具体方法、工具。 例如： 在Java里IO流的类设计，为什么把BufferedReader设计成：new BufferedReader（new FileReader（“F：\test.java”））;//
2016-10-29 21:35:39
301
原创 Hadoop学习笔记 压缩
1. 简介文件压缩有两大好处：减少存储文件所需要的磁盘空间。并加速数据在网络和磁盘上的传输。“是否可切分”：表示对应的压缩算法是否支持切分，也就是说说，是否可以搜索数据流的任意位置并一步往下读取数据。2. codeccodec实现了一种压缩-解压缩的算法。 在Hadoop中，一个对CompressionCodec接口的实现代表一个codec。 LZO代码库连接：http://downloa
2016-10-29 10:01:36
307
原创 Mysql必知必会（笔记）【存储过程】
1. 存储过程我们常用的操作数据库语言SQL语句在执行的时候需要要先编译，然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。一个存储过程是一个可编程的函数，它在数据库中创建并保存。它可以有SQL语句和一些特殊的控制结构组成。当希望在不同的应用程序或平台上执行
2016-10-24 22:45:06
493
原创 Hadoop学习笔记 Java接口
从 hadoop URL 读取数据1. 自定义编写URLCat方法：import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactor
2016-10-23 22:02:31
351
转载 动态规划入门<三>
第三节 动态规划的思考角度那么什么是动态规划呢？我个人觉得，如果一个解决问题的方法满足上面六个思考点中的前四个，那么这个方法就属于动态规划。而在思考动态规划方法时，后两点同样也是需要考虑的。面对问题要寻找动态规划的方法，首先要清楚一点，动态规划不是算法，它是一种方法，它是在一件事情发生的过程中寻找最优值的方法，因此，我们需要对这件事情所发生的过程进行考虑。而通常我们从过程的最后一步开始考虑，而不是先
2016-10-21 20:03:49
235
转载 动态规划入门<二>
通过金矿模型介绍动态规划第二节 动态规划的优点想必大家已经了解动态规划为什么是正确的方法，但是为什么要使用动态规划呢？请先继续欣赏这个故事：国王得知他的两个手下使用了和他相同的方法去解决交代给他们的问题后，不但没有认为他的两个大臣在偷懒，反而很高兴，因为他知道，他的大臣必然会找更多的人一起解决这个问题，而更多的人会找更更多的人，这样他这个聪明的方法就会在不经意间流传开来，而全国人民都会知道这个聪明的
2016-10-20 21:58:01
233
转载 动态规划入门<一>
通过金矿模型介绍动态规划第一节 初识动态规划经典的01背包问题是这样的：有一个包和n个物品，包的容量为m，每个物品都有各自的体积和价值，问当从这n个物品中选择多个物品放在包里而物品体积总数不超过包的容量m时，能够得到的最大价值是多少？[对于每个物品不可以取多次，最多只能取一次，之所以叫做01背包，0表示不取，1表示取]为了用一种生动又更形象的方式来讲解此题，我把此题用另一种方式来描述，如下：有一个国
2016-10-20 15:51:30
263
原创 Mysql必知必会（笔记）【插入数据，更新和删除数据，创建和操纵表，视图】
1. 插入数据1.1 数据插入插入有几种方式： 插入完整的行(建议表名后的括号里明确给出列名与后面的值进行分)； insert into 表名 values(字段值，字段值…………..); 插入行的一部分； 直接在表名后面的列名省略某些列省略列的条件：该列定义为允许NULL值（无值或空值）。在表定义中给出默认值。这表示如果不给出值，将使用默认值。插入某些查询的结果：
2016-10-16 19:36:44
1290
转载 Kafka入门：主要配置以及集群搭建
1. broker配置2. consumer主要配置3. zookeeper集群zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。zookeeper为分布式系统提供了高笑且易于使用的协同服务，它可以为分布式应用提供相当多的服务，诸如统一命名服务，配置管理，状态同步和组服务等。zookeeper接口简单，我们不必
2016-10-11 15:58:44
339
转载 Kafka入门：简介、使用场景、设计原理
一. 入门1. 简介Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群由多个kafka实例组成，每个实例(ser
2016-10-11 15:29:00
324
原创 Hive HWI 安装及配置
在Hive已经安装成功的基础上，进行安装Hive HWI Hive Web Interface（HWI）简介：Hive自带了一个Web-GUI，功能不多，可用于效果展示。 由于hive-bin包中没有包含HWI的页面，只有Java代码编译好的jar包：hive-hwi-1.2.0.jar 因此需要下载源码从中提取jsp文件并打包成war文件到hive-lib目录中：wget http://mi
2016-10-11 11:16:22
3373
原创 Mysql必知必会（笔记）【分组函数，子查询, 联结，高级联结，组合查询】
1. 数据分组1.1 创建分组： select 字段名，count（*） as 别名 from 表名 group by 字段名 Group by子句只是DBMS按字段名排序并分组数据，这就会对每个字段名计算总数。Group by子句可以包含任意数目的列，因而可以对分组进行签套，更细致地进行数据分组。如果在Group by子句中嵌套了分组，数据将在最后指定的分组上进行汇
2016-10-10 11:14:33
748
原创 解决 Unable to load native-hadoop library for your platform
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。1、首先找到对应自己hadoop版本的64位的li
2016-10-02 21:42:57
799
3
转载 Apache kafka--高性能的分布式消息系统
kafka是一个分布式的，高吞吐量的、信息分片存储，消息同步复制的开源消息服务，它提供了消息系统的功能，但是采用了独特的设计。
2016-10-02 14:29:29
383
原创 APACHE FALCON CLI
1.Debug模式在这一模式下，Falcon CLI将能够输出Web Services API中关于你正在执行命令的详情。例如：执行成功：执行失败： Entity Management Operations1.submit用途：用于实体定义。用法：$FALCON_HOME/bin/falcon
2016-09-27 21:30:13
1146
原创 Hadoop Hive基础SQL语法(DQL 操作:数据查询SQL)
3.1 基本的Select 操作 SELECT [ALL | DISTINCT] 字段名, 字段名, … FROM 表名 [WHERE 条件] [GROUP BY 列名 [HAVING 条件]] [ CLUSTER BY 列名 | [DISTRIBUTE BY 列名] [SORT BY | ORDER BY 列名]][LIMIT 数字] •使用ALL和DISTINCT选
2016-09-27 17:49:30
483
原创 java中String、StringBuffer、StringBuilder的区别
java中String、StringBuffer、StringBuilder是编程中经常使用的字符串类，他们之间的区别也是经常在面试中会问到的问题。现在总结一下，看看他们的不同与相同。1. 可变与不可变 String类中使用字符数组保存字符串，如下就是，因为有“final”修饰符，所以可以知道string对象是不可变的。private final char value[]; StringBuil
2016-09-26 09:16:55
234
原创 java入门-类、对象的引用
构造方法：1.构造方法没有返回值2.构造方法的名称要与类名相同。 注意：如果在类中定义的构造方法都不是无参的构造方法，则编译器不会为类设置一个默认的无参构造方法，当试图调用无参构造方法实例化一个对象时，编译器会报错。所以只有在类中没有定义任何的构造方法，编译器才会在该类中自动创建一个不带参数的构造方法。静态变量，常量，方法有时需要在同一个内存区域共享一个数据。例如：在圆类对象和球类对象中都会
2016-09-25 22:52:00
296
原创 Hadoop Hive基础SQL语法(DML 操作:元数据存储)
2. DML操作:元数据存储hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。DML包括：INSERT插入、UPDATE更新、DELETE删除 •向数据表内加载文件 •将查询结果插入到Hive表中 •0.8新特性 insert into2.1.0 向数据表内加载文件 LOAD DA
2016-09-25 19:12:30
470
原创 Hadoop Hive基础SQL语法(DDL 操作)
介绍： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便
2016-09-23 15:31:08
548
原创 hive分区（partition）简介
1. 为什么要分区？1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by。2. 实现细节1、一个表可以拥有一个或者多个分区，
2016-09-23 01:10:01
902
转载 Hive数据存储的各种模式
Hive的数据分为表数据和元数据，表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。下面分别来介绍。一、Hive的数据存储Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据
2016-09-22 17:52:04
515
原创 Mysql必知必会（笔记）【创建计算字段、使用数据处理函数、汇总数据】
一. 创建计算字段计算字段是运行时在SELECT语句内创建的。 字段：基本上与列的意思相同，经常互换使用，不过数据库列一般称为列，而术语字段通常与计算字段一起使用。1. 拼接字段 select concat(字段名，字段名) [as 别名] from 表名； 例如规定输出格式： select concat(字段名，‘（’，字段名，‘）’) as 别名 fro
2016-09-20 11:54:53
1872
原创 Mysql必知必会（笔记）【高级数据过滤、通配符进行过滤】
1. 高级数据过滤概念：操作符（用来联结或者改变WHERE子句中子句的关键字，也成为逻辑操作符）1）组合WHERE子句为了满足更强的数据过滤，SQL允许给出多个WHERE子句。这些子句有两种使用方式即以AND子句或者OR子句的方式使用。AND操作符 select 列名 from 表名 where 列名=值 and 列名=值（order by 列名【desc】））； OR操作
2016-09-17 11:09:04
532
原创 Mysql必知必会（笔记）【基本概念，检索，过滤】
1. 基本概念数据库：保存有组织的数据的容器表：某种特定类型数据的结构化清单模式：关于数据库和表的布局及特性的信息（数据在表中如何存储，各部分信息如何命名）列：表中的一个字段。所有表都由一个或者多个列组成。行：表中的一个记录。主键：一列（或一组列），其值能够唯一标示表中的每一行。关键字：作为SQL组成部分的保留字。关键字不能用作表或者列的名字。 注：SQL不区分大小写（关键字不区分，
2016-09-16 15:27:18
484
原创 插入排序之直接插入排序（Java篇）
有一个已经有序的数据序列，要求在这个已经排好的数据序列中插入一个数，但要求插入后此数据序列仍然有序，这个时候就要用到一种新的排序方法——插入排序法,插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、个数加一的有序数据，算法适用于少量数据的排序，时间复杂度为O(n^2)。是稳定的排序方法。插入算法把要排序的数组分成两部分：第一部分包含了这个数组的所有元素，但将最后一个元素
2016-09-15 11:02:16
518
原创 Linux基本操作命令总结以及目录结构图解
命令行常用快捷键Tab：进行命令补全Ctrl+c：用于强制终止当前的程序Ctrl+d：键盘输入结束或者退出终端Ctrl+s：暂停当前程序，暂停后按下任意键进行恢复Ctrl+z：将当前程序放到后台运行，恢复到前台为命令fgCtrl+a：将光标移至输入的行头，相当于Home键Ctrl+e：将光标移至输入的行末，相当于End键Ctrl+k：删除从光标所在位置到行末Alt+Backspac
2016-09-15 00:04:34
510
转载 操作系统原理——进程描述和控制
什么是进程进程的出现，是为了操作系统可以以一种有序的方式管理应用的执行，以达到以下的目的：资源对多个应用程序是可用的。进程在多个应用程序之间的切换以保证多个应用程序都在执行中。处理器和I/O设备能够得到充分利用。进程是一组元素组成的实体，他可以是一个正在执行中的程序，也可以是一个能分配处理器并由处理器执行的实体。进程的两个基本元素是：程序代码和代码相关的数据集。 在进程执行时，任意给定一个
2016-09-14 09:29:04
845
原创 VMware Workstation虚拟机复制详细步骤
环境：centos6.5 1. 将复制文件中的lck文件删除。 2. 对虚拟机进行生成MAC地址操作。（虚拟机设置–>网络适配器–>高级–>生成MAC地址） 3. 启动虚拟机 1.将虚拟机中的网卡配置文件进行MAC地址修改 2.输入命令：ifconfig -a 查看网卡名称 3.将原来的网卡复制生成新的网卡名称，并对虚拟机中的网卡配置文件进行网卡的名字的修改
2016-09-13 11:53:04
5047
转载 基础网络概念：网络是什么？
网络是什么？那么多的操作系统要如何进行网络沟通呢？那就得要制订共同遵守的标准才行。这个标准是由国际组织规范的，你的系统里面只要提供可以加入该标准的程序代码， 那你就能够透过这个标准与其他系统进行沟通，而这个标准就是概念上的网络。1. 什么是网络网络就是几部计算机主机或者是网络打印机之类的接口设备，透过网络线或者是无线网络的技术，将这些主机与设备连接起来，使得数据可以透过网络媒体(网络线以及其他网络
2016-09-11 11:52:05
14245
原创 HDFS架构详解
分布式文件系统物理层存储的分布式。基于客户机/服务器模式:通常一个分布式文件系统提供多个供用户访问的服务器。通常情况下，会具有备份和容错的功能。 hdfs默认备份3份，如果数据丢失，hdfs会根据其他备份进行恢复。通常情况下都基于操作系统的本地文件系统：-ext3，ext4。分布式文件系统的优点：传统文件系统最大的问题就是容量和吞吐量的限制。多用户多应用的并行读写是分布式文件系统的产生
2016-09-10 22:56:37
932
原创 java入门-标识符、关键字、基本数据类型、变量与常量、运算符
标识符理解：标识符可以简单的理解为一个名字，用来标识类名、变量名、方法名、数组名、文件名的有效字符序列。命名规则：Java语言的标示符由字母、数字、下划线和美元符号组成，第一个字符不能为数字。java语言中严重区分大小写Java关键字Java基本数据类型1. 整数类型 注：在对long型变量赋值时结尾必须加上“L”或者“l”，最好加“L”。2. 浮点类型 在对float进行赋值时在结尾必须
2016-09-09 00:01:10
822
ISO-2016-SQL.zip
2021-11-16
hadoop-2.7.0-winutils.zip
2018-04-11
linux Shell 得到当前路径的问题
2016-11-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人