- 博客(22)
- 收藏
- 关注
RSS订阅原创 commai.ai.openpolit学习笔记
学习openpolit差不多半个多月了，对整个项目也有了一定的了解。openpolit主要基于python语言编写。OP进程之间通过ZMQ进行通信，使用订阅者和发布者模式，进程订阅其他进程的信息，进程一系列处理，将得到的结果发布出去，让其他进程获取其处理结果。OP存储数据使用cap'n proto数据存储格式，可以进行快速读写。 分析OP整个项目可以分为以下几个模块：感知、...
2018-04-20 14:05:51
629
原创 Spring 注解
@Autowired适用于set方法，成员，构造参数三种自动装配。情况下，找不到匹配的bean会抛出异常，需要在里面声明（required=false），虽然不会报错。但是bean为null每个构造器只有一个被声明为（required=true）@request只适用于bean的属性setter方法，表示受影响的bean属性必须在配置时被填充，通过在bean的定义或者自动装配一个明确的
2017-07-30 13:11:33
239
1
原创 Spring Bean的自动装配和资源管理
AutoWiring在全局属性中声明;default-auotowire="ByName"属性：NO：什么也不做ByName:根据属性名称自动装配，此选项将检查容器，并找到名称和属性完全一样的Bean，然后将其与属性自动装配。若id重复，会报异常。ByType;根据类型自动装配（属性类型），同上，如果存在多个类型相同的Type，将会抛出异常，并指出不能通过此方式装配，如
2017-07-29 16:22:10
218
1
原创 Spring Bean的生命周期
一、在全局配置文件中配置初始化和销毁方法default-init-method="init" default-destory-method="destory"二、在每个Bean中配置1.继承接口，重写方法2.在配置文件中配置init-method和destory-method方法。*这三种配置方式的优先级如下：当定义了全局初始化和其他的两种之一或者三种都存
2017-07-29 16:16:11
240
1
原创 Spring框架是什么
学习Spring框架，首先我们得知道什么是框架？维基百科：通常为实现某个业界标准或者完成特定的基本任务扽软件组件规范。框架是为了制定一套规范或者规则，程序猿们在这一规范上工作，创造新的应用。框架的特点：1.半成品2.封装了特定的处理流程和控制逻辑3.成熟的，不断升级，改进的软件Spring 是一个开源框架，为解决企业开发应用的复杂性而创建的，是一个轻量级
2017-07-29 10:04:45
294
2
原创 Ubuntu使用mysql添加数据异常解决办法
使用语句mysql> load data local infile '/home/hadoop/tmpdata/employees.tsv' into table employees fields terminated by '\t' lines terminated by '\n';ERROR 1148 (42000): The used command is not allowed
2017-07-23 19:22:40
237
原创 经典排序例题
请设计一个高效算法，判断数组中是否有重复值。必须保证额外空间复杂度为O(1)。给定一个int数组A及它的大小n，请返回它是否有重复值。import java.util.*;public class Checker { public boolean checkDuplicate(int[] a, int n) { // write
2017-07-23 15:53:08
617
原创 排序算法之基数排序
原理：首先，将所有的数值按个位数划分到0-9个桶里面，将桶中的数值倒出，然后按十位数划分到0-9个桶中，然后倒出，依次类推，到最高位为止。import java.util.*;public class RadixSort { public int[] radixSort(int[] A, int n) { // write code here基数
2017-07-23 14:48:00
153
原创 排序之计数排序
算法原理：将数组所有的元素根据值放入桶中，首先是将个位数按大小放入，然后按序倒出，其次比较十位数，依次到最高位。import java.util.*; public class CountingSort { public int[] countingSort(int[] A, int n) { count(A);
2017-07-23 13:42:37
161
原创 8大经典排序算法比较
空间复杂度：O(1):插入排序，选择排序，冒泡排序，堆排序，希尔排序O（logn-n）:快速排序O(n):归并排序O（m）:桶排序（m为桶大小）时间复杂度：稳定性：稳定排序：插入排序，冒泡排序，归并排序，计数排序，基数排序，桶排序不稳定排序：选择排序，快速排序，希尔排序，堆排序。
2017-07-23 12:41:49
265
原创 Hive创建外部表异常
NoViableAltException(158@[])at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1074)at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202)at org.apache.h
2017-07-22 11:35:13
989
原创 Hive查询异常
使用hive查询其他的没有问题，只有查询count(*)统计的时候出现问题hadoop@master:~/soft/hive$ hive -e "select count(*) from student ;"Logging initialized using configuration in jar:file:/home/hadoop/soft/hive/apache-hive-1
2017-07-22 11:32:45
679
原创 Hadoop搭建Hive异常处理
Logging initialized using configuration in jar:file:/root/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties[ERROR] Terminal initialization failed; falling back to unsupportedj
2017-07-22 02:21:20
289
原创 Hadoop学习日志之序列化和反序列化
序列化就是把 内存中的对象的状态信息，转换成 字节序列以便于存储（持久化）和网络传输。（网络传输和硬盘持久化，你没有一定的手段来进行辨别这些字节序列是什么东西，有什么信息，这些字节序列就是垃圾）。反序列化就是将收到 字节序列或者是硬盘的持久化数据，转换成 内存中的对象。为什么Hadoop基本类型还要定义序列化？Hadoop在集群之间通信或者RPC调用时需要序
2017-07-21 09:01:57
374
原创 Hadoop学习日志之数据完整性
用户希望储存和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验1校验和（常用循环冗余校验CRC-32）2运行后台进程来检测数据块校验和写入数据节点验证读取数据节点验证恢复数据Localfilesystem类ChecksumfileSystem类写入数据节点验证Hdfs会对写入的所有数据计算校验和
2017-07-21 08:54:45
424
原创 Hadoop学习日志之HDFS读写策咯
关于HDFS读写顺序，有以下几点，首先，先看图： 1.客户端通过调用FileSystem对象的open()来读取希望打开的文件。2.DistributedFileSystem通过RPC来调用namenode，以确定文件的开头部分的块位置。namenode返回每块副本的datanode的存储位置，根据他们
2017-07-20 08:56:30
318
原创 Hadoop学习日志之HDFS的主从结构
学习Hadoop的时候，我们必须了解什么它的两大核心：HDFS分布式文件存储系统和MapReduce对分布式任务处理的支持。 HDFS采用了主从(Master/Slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HD
2017-07-20 08:34:07
2638
原创 Hadoop学习日志之hadoop的组成
随着大数据的发展，如今Apache Hadoop已成为大数据行业发展背后的驱动力，形成了自己的生态圈。那么hadoop有哪些组成部分呢？MapReduce——Hadoop的核心MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分 布式计算优势就体现出来。将这种技术与Linux服务器结合可
2017-07-19 08:33:06
289
转载 Hadoop学习日志之大数据概念
大数据：是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据具有5个V的特点，它们分别是：1、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
2017-07-18 08:53:27
277
原创 Hadoop学习日志之CAP
CAP：任何分布式系统在可用性、一致性、分区容错性方面，不能兼得，最多只能得其二，因此，任何分布式系统的设计只是在三者中的不同取舍而已。分布式领域CAP理论，Consistency(一致性), 数据一致更新，所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容错性) 可靠性
2017-07-18 08:50:43
318
原创 Hadoop学习日志二之数据仓库
首先，为什么会产生数据仓库？数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三——源数据、数据仓库、数据应用。由
2017-07-17 21:35:44
343
原创 Hadoop学习日志1-结构化数据与非结构化数据
非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等结构化数据：能够用数据或统一的结构加以表示，我们称之
2017-07-17 21:25:07
4096
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人