- 博客(13)
- 收藏
- 关注
RSS订阅原创 Hadoop-Hdfs写入流程、edits与fsimage
1.Hadoop写入public void putFile() throws Exception{ Configuration conf = new Configuration(); conf.set("fs.defaultFs","hdfs://192.168.161.200:8020/"); FileSystem fs = FileSystem.get(conf);...
2020-02-24 22:15:49
296
原创 Hadoop-Hdfs结构体系
1.简介Hadoop 中的分布式文件系统Hdfs实现了数据在计算机集群上的存储和管理。1.1 Hdfs特点无法进行低延迟的数据访问: Hdfs是为了处理大型数据集分析任务,主要是为达到高的数据吞吐量而设计的，这就要求可能以高延迟作为代价。无法高效的存储大量的小文件:在 Hadoop 中需要用 NameNode(名称节点)来管理文件系统的元数据，以响应客户端请求返回文件位置等，因此文件数...
2020-02-23 20:21:29
369
原创 hadoop namenode -format初始化时报错
报错如下/home/hadoop/app/hadoop-2.4.1/bin/hdfs: /home/hadoop/app/jdk1.7.0_65/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory/home/hadoop/app/hadoop-2.4.1/bin/hdfs: line 206:...
2020-02-16 20:50:54
725
原创 Linux-centos虚拟机集群配置
实现方式通过直接复制安装后的安装文件，然后更改mac地址与ip地址也可以实现虚拟机的快速创建。++注意的坑++确定VMware的服务已经开启确认好VmWare生成的网关地址VmNet8网卡配置好IP地址NAT网络模式宿主机可以看做一个路由器，虚拟机通过宿主机的网络来访问 Internet；可以安装多台虚拟机，组成一个小型局域网，例如：搭建 hadoop 集群、分布式服务。...
2020-02-16 17:54:16
283
原创 zookeeper-基本认知
Zookeeper概念ZooKeeper是一个开源的分布式协调服务。目标主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。作用ZooKeeper 本质上是一个分布式的小文件存储系统。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。诸如： 统一命名服务(dubbo)、分布式配置管理(solr的配置集中管理)、分布式消息队列（sub/p...
2020-02-15 16:47:46
97
原创 JAVA-JDBC工具类封装
import java.sql.*;public class DBUtil { /* *工具类中的构造方法都是私有的 * 因为工具类中的方法都是静态的，不需要new对象，直接采用类名调用 */ private DBUtil{} //静态代码在类加载时执行，并且只执行一次 static { try { ...
2020-02-11 23:20:13
109
原创 JAVA-JDBC事务自动提交机制
JDBC事务机制JDBC中的事务是自动提交的。只要执行任意一条DML语句，则自动提交一次，这是JDBC默认的机制。但是对于实际业务，需要运用事务机制。 // 开启事务 conn.setAutoCommit(false); // 手动提交 conn.commit(); /...
2020-02-11 23:00:28
1287
原创 JAVA-JDBC解决SQL注入问题
只要用户提供信息不参与SQL语句的编译过程，问题就解决了。即使用户提供的信息中含有SQL语句的关键字，但是没有参与编译，不起作用。PreparedStatement预操作使用java.sql.PreparedStatement，其继承了java.sql.StatementPreparedStatement是属于与编译的数据库操作对象。import java.sql.*;publi...
2020-02-11 22:44:20
323
原创 JAVA-JDBC
JDBCJava DataBase Connecticity(Java语言连接数据库)JDBC的本质JDBC是SUN公司制定的一套接口(interface)java.sql.*接口都有调用者和实现者。面向接口调用、面向接口写实现类，这都属于面向接口编程。为什么要面向接口编程？解耦合：降低程序的耦合性，提高程序的扩展力。为什么SUN制定一套JDBC接口？因为每个数据库原理不同，制...
2020-02-10 23:37:09
173
原创 MYSQL-索引
什么是索引索引相当于一本书的目录，通过目录可以快速找到对应的资源。在数据库方面，查询一张表的时候有两种检索方式：全表扫描根据索引检索（效率很高）索引为什么可以提高检索效率？其实根本上的原理是缩小了扫描的范围。索引虽然可以提高检索效率，但是不能随意的添加索引，因为索引也是数据库中的对象，也需要数据库不断维护，有维护成本。例如：表中的数据经常被修改，这样就不适合添加索引。什么时候...
2020-02-09 20:54:03
1309
原创 MYSQL-事务知识点
事务是什么事务是一个完整的业务逻辑单元，不可再分。例如：银行转账，A–>B转账10000，需要执行两条update语句。UPDATE t_act SET balance = balance - 10000 WHERE actno = 'act-001'UPDATE t_act SET balance = balance + 10000 WHERE actno = 'act-002...
2020-02-09 20:53:02
1364
原创 数据库类型
关系型数据库关系数据库管理系统（Relational Database Management System,RDBMS)RDBMS是以集合理论为基础的系统，实现具有行和列的二维表。与RDBMS交互的标准方式，是用结构化查询语言(Structured Query Language,SQL)编写查询。系统强制使用类型，包括数字、字符串、日期、未解释的二进制大对象。有许多开源数据库可供选...
2019-12-05 22:23:40
186
原创 1.VMware虚拟集群搭建_复制安装文件法
机器规划IP地址主机名第一台机器192.168.XXX.100node01.hadoop.com第二台机器192.168.XXX.110node02.hadoop.com第三台机器192.168.XXX.120node03.hadoop.com1将安装的文件夹直接复制一份将安装源文件直接复制三份出来，分别命名为CDH1，CDH2，CDH3。...
2019-08-31 23:08:22
221
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人