- 博客(49)
- 收藏
- 关注
RSS订阅转载 sqoop
sqoop：数据迁移工具实际上就是一个mapreduce程序，可以将关系型数据库导入到hdoop存储系统中，也可以将hadoop存储系统中的数据导出到关系型数据库中转载于:https://www.cnblogs.com/djh222/p/11346831.html...
2019-08-13 16:43:00
111
转载 flume
flume数据采集各种各样的数据源--》读数据，缓存数据，写数据--各种各样的目标存储系统缓存数据：内存，本地磁盘文件读数据：任何数据都封装成event对象；组件接口（source），根据各种数据源写source实现类event：head{描述信息}，body{数据}写数据：组件接口（sink），根据目标存储系统写sink实现类常用实现类已经写好，只用修改实现类的...
2019-08-13 16:38:00
130
转载 hbase
hbase简单来说就是一个nosql数据库，非结构化数据库，Hbase的表数据存储在HDFS文件系统中，hbase具备如下特性：存储容量可以线性扩展； 数据存储的安全性可靠性极高！能实时的做增删改查文件系统：存储数据lHbase的表模型与关系型数据库的表模型不同：lHbase的表没有固定的字段定义；lHbase的表中每行存储的都是一些key-value对lHb...
2019-08-13 16:20:00
132
转载 hive
hive:基于hadoop的一个数据仓库工具（离线），可以将结构化的数据文件映射成为一张数据库表，并提供sql查询功能hive里面的表的字段对应文件里的一些数据字段，解析sql语法，组装成一个mapreduce job到yarn运行，在到hdfs里面查找会sql即可转载于:https://www.cnblogs.com/djh222/p/11346587.html...
2019-08-13 16:15:00
95
转载 elasticsearch
elasticsearch支持多条件查询，也支持聚合查询，是基于lucence的搜索服务器，提供数搜索，存储，分析beats:轻量型数据采集器kibana：数据可视化管理工具logstash：数据收集管理工具x-pack:管理集群，web界面（收费）转载于:https://www.cnblogs.com/djh222/p/11286778.html...
2019-08-02 09:46:00
87
转载 踩过的坑
1.hbase开启后regionserver自动关闭，节点与master上的时间不一致，差的太远。解决：配时间同步器，或者修改虚拟机上的时间：date -s 'xxxx-xx-xx xx:xx:xx' hwclock -w(将时间写入虚拟机的主板，不然下次启动时间又会还原)2.vi模式下查找关键字 esc+/关键字3.用flume上传文件到hdfs上报...
2019-07-30 16:10:00
104
转载 Hive
Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。1.1.Hive的特点可扩展Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。延展性Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。容错良好的容错性，节点出现问题SQL...
2019-07-25 09:59:00
77
转载 zookeeper
zookeeper:基础组件。功能：1.可以为客户端管理少量数据。2.可以为客户端监听指定数据节点的状态，并在数据节点发生变化时通知客户端----------服务器上下线的动态感知上传安装包，解压修改conf/zoo.cfg# The number of milliseconds of each ticktickTime=2000# The numbe...
2019-07-23 08:54:00
72
转载 mapreduce与yarn
mapreduce程序应该是在很多机器上并行启动，而且先执行map task，当众多的maptask都处理完自己的数据后，还需要启动众多的reduce task，这个过程如果用用户自己手动调度不太现实，需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个自动化调度平台——YARN首先，为你的mapreduce程序开发一个提交job到...
2019-07-17 10:10:00
138
转载 元数据管理
1、什么是元数据？hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置<datanode>）2、元数据由谁负责管理？namenode3、namenode把元数据记录在哪里？namenode的实时的完整的元数据存储在内存中；namenode还会在磁盘中（dfs.namenode.name.dir）存储内存元数据在某个时...
2019-07-17 09:41:00
168
转载 HDFS客户端操作
客户端的理解hdfs的客户端有多种形式：1、网页形式2、命令行形式3、客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数： dfs.blocksize副本数量的参数...
2019-07-09 08:54:00
228
转载 搭建HDFS集群
hdfs集群组成结构：安装hdfs集群的具体步骤：1、学习阶段，用虚拟机即可！先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点2、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62主机名：hdp-0...
2019-07-09 08:52:00
145
转载 hadoop基本概念
在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink...
2019-07-04 10:21:00
117
转载 常用mysql操作
MySQL 创建数据表语法?1CREATE TABLE table_name (column_name column_type);创建一个student表?1234567create table student(...
2019-06-17 16:12:00
52
转载 常用的mysql操作
MySQL 创建数据表语法?1CREATE TABLE table_name (column_name column_type);创建一个student表?1234567create table student(...
2019-06-17 16:12:00
63
转载 mysql操作
数据库:数据库是一些关联表的集合。.数据表:表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。列:一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。行：一行（=元组，或记录）是一组相关的数据，例如一条用户订阅的数据。冗余：存储两倍数据，冗余可以使系统速度更快。(表的规范化程度越高，表与表之间的关系就越多；查询时可能经常需要在多个表之间进行连接...
2019-06-17 16:07:00
64
转载 土地档案管理系统架构图，ER图，用例图
架构图：用例图：ER图：转载于:https://www.cnblogs.com/djh222/p/10827603.html
2019-05-07 19:43:00
1105
转载 土地档案管理系统需求分析
土地档案管理系统需求分析1项目背景随着国土大面积调查工作的全面展开和城镇地籍管理工作得以日趋细化，各种野外调查数据，不同比例尺图件资料急剧增加。特别是城市建设的空前发展以及土地有偿使用法规的实施，使得地籍变更日益频繁、地籍信息量也越来越大，对城镇地籍管理提出了更高的要求。面对如此数量巨大、来源多样、变更频繁的信息，传统的管理方法已经愈来愈不能满足现代化土地管理的需要。...
2019-05-07 13:24:00
415
转载 Load data local infile
利用SQL语句“load data local infile”将“pet.txt”文本文件中的数据导入到mysql中2、实验过程及结果：在mysql8中想要将文件中的数据导入到MySQL中得先在root模式下执行以下代码SHOWVARIABLESLIKE'%local%';SETGLOBALlocal_infile=1;将loc...
2019-04-23 18:55:00
1411
转载 Lamda Expression
Lambda表达式又被成为闭包或者匿名函数（闭包的概念主要出自于函数式编程）。在Java中，我们可以将Lambda表达式看作是任意函数式接口类型的一个匿名实例。Java Lambda表达式的出现，从一定程度上改变了代码的编写方式，提供了更轻量级的语法实现。为了快速理解这一概念我们通过下面的示例代码进行理解： Java Lambda Expression 出现前的函数式接口编码方式（‘...
2019-04-23 18:46:00
94
转载 Domain Logic approaches
领域逻辑组织可以分为三种主要的模式：事务脚本(Transaction Script)、领域模型(Domain Model)和表模块(Table Module)” 1、domain logic approachesTransaction Script(事务脚本模式),是一种最简单和最容易接受的处理业务的方法。这种模式是采用面向过程的方式来组织业务逻辑。通常情况下，系统...
2019-04-23 18:44:00
85
转载 Spring AOP Capabilities and Goals
Spring中AOP代理由Spring的IOC容器负责生成、管理，其依赖关系也由IOC容器负责管理。因此，AOP代理可以直接使用容器中的其它bean实例作为目标，这种关系可由IOC容器的依赖注入提供。转载于:https://www.cnblogs.com/djh222/p/10758181.html...
2019-04-23 18:43:00
75
转载 python
https://www.cnblogs.com/alex3714/category/770733.html转载于:https://www.cnblogs.com/djh222/p/10758175.html
2019-04-23 18:41:00
64
转载 CDI Features
一、EL/SpEL1、EL语言(CDI与表达式语言（EL）集成，允许在JavaServer Faces页面或JavaServer Pages页面中直接使用任何组件)1）概述；EL是JSP内置的表达式语言，用以访问页面的上下文以及不同作用域中的对象 ，取得对象属性的值，或执行简单的运算或判断操作。EL在得到某个数据时，会自动进行数据类型的转换。使用EL表达式输出数据时，如果有则输出...
2019-04-09 15:38:00
107
转载 Java Design Patterns
一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。...
2019-04-09 15:37:00
78
转载 Connector for Python
1.下载并安装connector/pythonA.下载mysql-connector-python-2.1.6-py2.7-winx64.msi，下载之后，根据提示安装即可下载地址：https://dev.mysql.com/downloads/connector/python/2.使用命令行往mysql中添加数据A.进入数据库命令行操作界面，使用mysql -u ...
2019-04-09 15:33:00
104
转载 Spring restful
一种软件架构风格、设计风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。REST（英文：Representational State Transfer，简称REST）描述了一个架构样式的网络系统，比如 web 应用程序。它首次出现在 2000 年 Roy Fieldi...
2019-04-09 15:30:00
114
转载 LDAP & lmplementation
LDAP的英文全称是Lightweight Directory Access Protocol，简称为LDAP。LDAP是轻量目录访问协议[1]，它是基于X.500标准的，但是简单多了并且可以根据需要定制。与X.500不同，LDAP支持TCP/IP，这对访问Internet是必须的。LDAP的核心规范在RFC中都有定义，所有与LDAP相关的RFC都可以在LDAPman RFC网页中找到。...
2019-04-09 15:27:00
184
转载 Restful levels and Hateoas
1. 什么是RESTfulREST这个词，是Roy Thomas Fielding在他2000年的博士论文中提出的。翻译过来就是"表现层状态转化。”REST是一种软件架构风格、设计风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。而满足这些约束条件和原则的应用程序或设计就是 ...
2019-04-09 15:24:00
107
转载 事物隔离的级别
数据库事务的隔离级别有4种，由低到高分别为Read uncommitted 、Read committed 、Repeatable read 、Serializable 。而且，在事务的并发操作中可能会出现脏读，不可重复读，幻读。Read uncommitted读未提交，顾名思义，就是一个事务可以读取另一个未提交事务的数据。事例：老板要给程序员发工资，程序员的工资是3.6万/...
2019-03-28 08:49:00
90
转载 servlet injection analysis
@WebServlet("/cdiservlet") ||url映射public class NewServlet extends HttpServlet { private Message message; @Override ||重写doGet方法 public void init() { me...
2019-03-28 08:46:00
58
转载 session and cookie
1状态管理a)什么是状态管理?将浏览器与web服务器之间多次交互当做一个整体处理,并且将多次交互涉及的数据(即状态)保存下来.b)如何进行状态管理?可以将状态保存在客户端将状态保存到浏览器这边,通常使用Cookie技术将状态保存到服务器端(session 会话)c)Cookie什么是coolie?服务器为了识别用户身份临时存在浏览器...
2019-03-28 08:44:00
90
转载 正则表达式
正则表达式定义了字符串的模式。正则表达式可以用来搜索、编辑或处理文本。正则表达式并不仅限于某一种语言，但是在每种语言中有细微的差别。一个字符串其实就是一个简单的正则表达式，例如 Hello World 正则表达式匹配 "Hello World" 字符串。.（点号）也是一个正则表达式，它匹配任何一个字符如："a" 或 "1"。在 Java 中，\\ 表示：我要插入一个正...
2019-03-28 08:40:00
64
转载 write RE validation
在Java中，我们为了查找某个给定字符串中是否有需要查找的某个字符或者子字串、或者对字符串进行分割、或者对字符串一些字符进行替换/删除，一般会通过if-else、for 的配合使用来实现这些功能。如下所示：Java代码publicclassTest{publicstaticvoidmain(Stringargs[]){...
2019-03-28 08:36:00
115
转载 hello2 source analysis
1.GreetingServlet.java源码文件： 1 @WebServlet("/greeting") //以@WebServlet注释开头，注释指定相对于上下文根的URL模式，即在根目录下使用/greeting来访问 2 public class GreetingServlet extends HttpServlet { 3 4 @Ove...
2019-03-27 08:51:00
78
转载 Filter
一、Filter简介 Filter也称之为过滤器，它是Servlet技术中最激动人心的技术之一，WEB开发人员通过Filter技术，对web服务器管理的所有web资源：例如Jsp,Servlet, 静态图片文件或静态html文件等进行拦截，从而实现一些特殊的功能。例如实现URL级别的权限访问控制、过滤敏感词汇、压缩响应信息等一些高级功能。...
2019-03-20 09:02:00
63
转载 web.htlm
在“Web页”节点下，展开WEB-INF节点，然后双击web.xml文件进行查看。web.xml文件包含Facelets应用程序所需的几个元素。使用NetBeans IDE创建应用程序时，将自动创建以下所有内容。指定项目阶段的上下文参数：上下文参数提供Web应用程序所需的配置信息。应用程序可以定义自己的上下文参数。此外，JavaServer Faces技术和Java Ser...
2019-03-20 08:58:00
79
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人