jensen-ZGX的博客

原创 HDFS介绍

HDFS产生背景随着数据量越来越大， 在一个操作系统存不下所有的数据， 那么就分配到更多的操作系统管理的磁盘中， 但是不方便管理和维护， 迫切需要一种系统来管理多台机器上的文件， 这就是分布式文件管理系统。 HDFS只是分布式文件管理系统中的一种。HDFS定义HDFS（Hadoop Distributed File System） ， 它是一个文件系统， 用于存储文件， 通过目录树来...

原创 集群时间同步

时间同步的方式：找一个机器，作为时间服务器。所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。配置时间服务器使用root用户查询是否已经安装ntp[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el...

原创 Hadoop基本配置文件总结

原创 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：配置yarn-site.xml[atguigu@hadoop101 hadoop]$ vi yarn...

原创 Hadoop配置历史服务器

配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：配置mapred-site.xml[atguigu@hadoop101 hadoop]$ vi mapred-site.xml在该文件里面增加如下配置。mapreduce.jobhistory.addresshadoop101:10020 mapreduce.jobhistory....

原创 运行Hadoop的wordcount案例

官方WordCount案例创建在hadoop-2.7.2文件下面创建一个wcinput文件夹[atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput在wcinput文件下创建一个wc.input文件[atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput[atguigu@hadoop101 wcinput]$ tou...

原创 大数据概念

大数据是无法在一定时间内使用常规工具捕捉、管理、处理的数据集合，是海量、高增长率和多样化的信息资产。要替代常规的数据工具如mysql等，需要新的处理模式才能具有更强的决策力和流程优化能力。...

原创 java程序堆溢出

java程序在运行时，有可能报一种堆内存溢出异常：OutOfMemoryError:java heap space此时我们可以通过调整虚拟机最大堆内存帮助改善这种人问题：将以下参数添加到运行时虚拟机参数列表：-Xmx4096M也可以通过添加虚拟机运行参数得到堆内存快照，然后使用快照分析工具分析是哪一部分出了问题。-XX:+HeapDumpOnOutOfMemoryError该配置会...

原创 python使用pclpy实现PCD点云读取和显示

通过python的pclpy依赖，可以在python中使用pcl点云库的接口，调用其操作点云的方法。最官方的pcl的python支持是python-pcl，但是我好长时间没有安装成功。有一次直接安装上了pclpy（可以提供过pip安装也可以在pycharm中查找安装，支持python3.6.8），索性从此就把程序从ubuntu移植到了windows。首先在pycharm安装pclpy，它目前只...

原创 SSM前后台传数据快速回顾笔记

配置springMVC  在maven工程中的pom文件中加入依赖：Spring的jar包：spring-core spring-bean spring-aop spring-context spring-web使用springMVC只需另外加入一个包：spring-webmvc  在服务器配置文件web.xml中添加dispatcher-servlet，并使其自动启动，并配置其配置...

原创 dubbo配合zookeeper分布式maven依赖

<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.comp...

原创 hash表的理解

什么是hash算法Hash算法可以把文件转换成一行字符串，而且每个文件有单独的Hash值，基本不会重复，这样通过计算两个文件的Hash值可以很快的确定两个文件是否相同。Hash的运算只能从文件到Hash值，但是从Hash值到文件是几乎不可能的。修改文件和后缀名不会改变文件的Hash值。常用的Hash算法有MD5和SHA1算法。MD5计算出来的结果有32个字节，SHA1计算的结果有40个字节...

原创 数据库索引的理解

一般在表查询时，如果没有建立索引，当查询一个字段符合条件的记录时，数据库会默认扫描整张表，如果表的条目很多，如千万条的级别，那么就会严重影响输出结果的速度。数据库怎么解决查询速度慢的问题呢---------索引什么是索引一个索引是存储的表中一个特定列的值的数据结构（最常见的是B-Tree）。索引包含一个表中列的值，并且这些值存储在一个数据结构中。索引是列级别的，索引引擎是表级别的，每张...

原创 HTTP和HTTPS区别

超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此HTTP协议不适合传输一些敏感信息，比如信用卡密码等。为了解决HTTP协议的这一缺陷，需要使用另一种协议：安全套接字层超文本传输协议HTTPS，为了数据传输的安全，HTTPS在HTT...

原创 java连接MySQL数据库的方法

第一种，最原始的方法，直接使用jdbc：createstatement这个方法不用带参数(sql语句)，可以在执行时填写。prepareStatement这个方法要填写sql语句，也能填写?在后期语句中设置?的具体值。package com.util;import java.sql.*;public class mysqlConn { public static void ...

原创 线程池学习笔记

阻塞队列/非阻塞队列我们知道栈是先进后出、后进先出的，而队列不同，队列是先进先出、后进后出的。那么什么是阻塞队列和非阻塞队列？入队：非阻塞队列：如果入队时列容器已满，则将入队的数据将丢弃。阻塞队列：如果入队时列容器已满，则将入队的数据将等待，如果一旦有数据出队，则阻塞的数据可以入队。出队：非阻塞队列：如果入队时列容器为空，此时取数据，数据为null阻塞队列：如果入队时列容器为空，...

原创 分布式项目中:session一致性问题

如果负载均衡器以轮询的方式向tomcat转发session，那么用户的session将会出现不能和某一服务器维持会话的问题。这就是session一致性问题的一个简单例子。...

原创 zookeeper学习总结2：使用idea建立项目访问zookeeper

目的：在zookeeper客户端下放置一个节点,并从idea的程序中查询它：在zookeeper客户端下放置节点：create /username zgx建立maven项目并添加zookeeper依赖。 <dependency> <groupId>org.apache.zookeeper</groupId> <artifac...

原创 zookeeper学习总结1：zookeeper入门

什么是zookeeperZookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：分布式配置服务、统一命名服务、分布式状态同步、集群管理服务等。zookeeper的最大作用是监听通知机制，客户地段注册监听它关心的节点，当节点发生变化（如数据修改，删除，子目录节点添加或删除）时，zookeeper会通知客户端。Zookeeper特点：简单: Zooke...

原创 线程资源同步---ReentrantLock加锁

还是那个3个窗口卖100张票的问题，这次我们使用ReentrantLock类来帮助我们解决问题。卖票程序：import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock;public class ticketSell implements Runnable { Lock ...

原创 为什么CPU切换线程状态会耗费资源

第一：因为CPU运行状态分为用户态和内核态。线程切换状态会使CPU运行状态从用户态转换到内核态。第二：每个线程在运行时的指令是被放在CPU的寄存器中的，如果切换内存状态，需要先把本线程的代码和变量写入内存。这样经常切换会耗费时间。...

原创 java多线程研究: 锁的概念

悲观锁和乐观锁悲观锁：我们假设在多线程使用同一资源时会互相抢占资源，这种态度引起的措施叫悲观锁。悲观锁一般用synchronized或者Lock来加锁。乐观锁：在使用资源时认为其他资源不会抢占资源，这就是乐观锁，一般使用CAS算法处理。CAS算法全名：Compare And Swap（比较与交换）无锁算法：基于硬件原语实现，在不使用锁（没有线程被阻塞）的清况下实现多线程之间的变量同步。...

原创 线程资源同步---synchronized加锁

多线程读取一个静态资源是不安全的模拟一个卖票程序，有100张票，3个窗口在卖。卖票程序：public class ticketSell implements Runnable { static int num = 100; @Override public void run() { while (num > 0) { Sy...

原创 java接口的意义

在java中接口interface定义了使用此接口的类的规范，也就是一些变量和抽象方法。在写接口时不用写abstract，因为是默认加的。用接口和父类都可以实现多态，也就是用父类或者接口声明变量，接收一个子类或实现类的实例，使用这种方式，使的变量的类型保持不变的情况下，只要生成实例的类调用了此接口，都可以用此接口生成的变量接收它，调用接口中声明的类，或者强转成实现类来调用实例中非接口定义的类。...

原创 java线程中断机制

java为程序员提供的一种控制线程中断（结束）的手段，通过调用interrupt方法即可，注意它只是修改了中断一个状态为true而已，并没立马结束线程。源码： public void interrupt() { if (this != Thread.currentThread()) { checkAccess(); // ...

原创 DataNode和NameNode的clusterID不一致

如果查看到50070可视化界面中的live node数为0，则有可能是DataNode和NameNode的clusterID不一致。解决方案：推荐方案：关闭Hadoop，删除各个datanode中的data文件夹下的所有文件，启动Hadoop，这样不用更换namenode中的clusterID。第二种方案就是格式化namenode。关键代码：hadoop namenode -forma...

转载 分布式计算架构的意义

单一应用架构当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的数据访问框架(ORM) 是关键。垂直应用架构当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。此时，用于加速前端页面开发的Web框架(MVC) 是关键。分布式服务架构当垂直应用越来越多，应用之间交互不可避免，将核心业务抽...

原创 Hadoop2.6.5架构图+集群搭建---使用QJM实现HA

1.在各个节点安装配置jdk、Hadoop。2.配置ssh使namenode可以访问其他节点。3.在namenode上启动start-dfs.sh

原创 Hadoop基础命令

操作hdfs系统#基本格式hdfs dfs -[linux命令]#如hdfs dfs -mkdir -p /user/root#上传文件到dfs目录hdfs dfs -put hadoop-2.6.5.tar.gz /user/root#指点块大小上传文件，hdfs中不同文件可以按不同块大小存储hdfs dfs -D dfs.blocksize=1048576 -put test....

原创 sql语句group by用法

GROUP BY我们可以先从字面上来理解，GROUP表示分组，BY后面写字段名，就表示根据哪个字段进行分组，就好像Excel中分类统计一样（就是下拉箭头那个）示例：现在我们有一张员工信息表，包括英文名、部门：现在我们想得到各个department有多少人，我们可以执行以下语句：select department as 部门,count(ename) as 人数 from datatabl...

原创 Hadoop伪分布式初始化

格式化分布式文件系统bin/hdfs namenode -format成功显示：此时在/var/sxt/hadoop/local/dfs/name/current下就会出现4个文件：fsimage_0000000000000000000 seen_txidfsimage_0000000000000000000.md5 VERSIONVERSION的内容为:[ro...

原创 使用ssh秘钥实现节点免密登录

A要实现使用ssh秘钥进行免密登录B，则需要在A下生成ssh公钥，放入B的ssh配置文件里。 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa此时在~/.ssh/下生成两个文件：id_dsa和id_dsa.pubid_dsa : 生成的私钥文件id_dsa.pub ： 生成的公钥文件 #将公钥放在对方机器的配置文件下 #注意放到你想登录的用户...

原创 MySQL多表查询

有些时候我们需要在多个表中查询数据，并满足一定的约束条件，得到多个表中字段的组合，这时候需要用到多表查询。比如，我们有两个表mysql> show tables;+-------------------+| Tables_in_mybatis |+-------------------+| it_dwh || it_mon |+--...

原创 数据库的三大范式

什么是三大范式：第一范式：当字段值是不可分割的原子值，称R是满足第一范式的，简记为1NF。第二范式：如果关系模式R满足第一范式，并且R得所有非主属性都完全依赖于R的每一个候选关键属性，称R满足第二范式，简记为2NF。第三范式：先满足第二范式，且除开主键列外的其他列不能有传递依赖，简记为3NF。范式不一定越详细越好，要考虑实际需要合理选择范式。...

原创 MySQL建表约束

MySQL约束分为：主键约束、自增约束、外键约束、唯一约束、非空约束、默认约束主键约束:唯一确定表的一条记录，非空，不可重复。一个表可以没有主键联合主键：这种只要两个加起来不重复就可以；一个重复没事，只要不是两个主键都重复就好；如果简表时忘记添加主键，可以用以下命令添加主键。另一种修改字段的方法：删除主键：自增约束：顾名思义，字段值可以自动增长。也就是在...

原创 MySQL数据库梳理（简版）

本节讲解命令行操作MySQL数据库：#登录MySQL数据库：mysql -u[用户名] -p[密码]mysql -uroot -p111111#查看已有数据库：show tables;

原创 使用清华源加速pip

#建立pip配置文件夹mkdir ~/.pipcd ~/.pip#建立pip配置文件touch pip.confgedit pip.conf#在pip.conf中写入一下两句：[global] trusted-host = pypi.tuna.tsinghua.edu.cnindex-url = https://pypi.tuna.tsinghua.edu.cn/simple#保...

原创 编译cpp程序出现cannot find -lvtkproj4错误 解决方案

解决方法，在CMakeLists.txt中加一条指令即可：在add_executable语句前面加上一句:list(REMOVE_ITEM PCL_LIBRARIES "vtkproj4")

原创 anaconda命令

进入环境前创建环境：conda create --name [环境名] python=2.7查看已有环境：conda env list进入某个环境：conda activate [环境名]进入环境后查看本环境包依赖：conda list...

原创 矩阵乘法的几何意义

最近在做基于用于点云模型识别的神经网络，用到了矩阵乘法的概念。两个矩阵相乘，实际上就是切换坐标系，这样做可以使得矩阵代表的图形或3维模型进行拉伸、旋转和平移处理。如A是一个2048x3的矩阵，B是一个3x3的矩阵，A和B相乘j就是将B的列向量作为新的基向量对A的行向量的表达。...