Hadoop
秃头崽崽
这个作者很懒,什么都没留下…
展开
-
Kafka的简单部署与学习
文章目录标题Kafka入门Topics和日志Kafka的环境搭建所需安装环境安装步骤Kafka的使用创建主题发送信息接收信息Kafka文档:http://kafka.apache.org/中文文档:http://kafka.apachecn.org/入门定义Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。基础的消息(Message)相关术语:Topic: Kafka按照Topic分类来维护消息Producer:我们将发布(publish)消息到Top原创 2020-09-28 11:36:09 · 525 阅读 · 0 评论 -
Mycat分片与读写分离(mysql主从)
Mycat目录标题Mycat学习笔记Mycat的部署与安装Mycat的分片什么是数据库分片逻辑库(schema)逻辑表(table)分片节点(dataNode)节点主机(dataHost)分片规则(rule)数据库分片操作Mycat读写分离MySQL主从复制操作实现准备工作MySQL主服务器配置MySQL从服务器配置Mycat配置Mycat学习笔记安装所需环境1、jdk:要求jdk必须是1.7及以上版本2、Mysql:推荐mysql是5.5以上版本3、Mycat:Mycat的官方网站:htt原创 2020-07-03 15:18:32 · 443 阅读 · 0 评论 -
SpringMVC的入门学习
SpringMVC# java注解# servlet 拦截器新建一个Maven的Web项目:Filter在pom.xml上添加依赖: <dependency> <groupId>javax.servlet</groupId> <artifactId>servlet-api</artifactId> <version>2.5</version> <scope原创 2020-07-03 13:07:49 · 320 阅读 · 0 评论 -
解决方法之报错:java.sql.SQLException: Access denied for user ‘root‘@‘192.168.100.1‘ (using password: YES)
在用Eclipse链接虚拟机里的mysql时出现了下面这个bug:java.sql.SQLException: Access denied for user 'root'@'192.168.100.1' (using password: YES)解决方法:1、检查用户名密码是否出现错误2、权限问题,增加用户所有权限赋予所有权限使用:all privileges 。格式:grant 权限 on 数据库名.表名 用户@登录主机 identified by “用户密码”;grant all p原创 2020-07-01 20:52:40 · 9423 阅读 · 0 评论 -
Nginx的反向代理(负载均衡)
这里写目录标题配置Tomcat集群反向代理操作1、修改nginx.conf文件2、在eclipse里创建一个maven web工程3、导入war包4、启动nginx服务并开启Tomcat集群(两个Tomcat都要开启)5、网页查看:配置Tomcat集群1、将配置好的Tomcat文件夹复制一分,名为tomcat-7_1[root@master local]# cp -r apache-tomcat-7.0.104/ tomcat-7_12、修改配置文件(tomcat-7_1)修改conf目录下的s原创 2020-06-26 18:05:39 · 400 阅读 · 0 评论 -
Nginx与Tomcat的部署
Nginx目录标题Nginx笔记Nginx的入门介绍什么是NginxNginx可以提供的服务Nginx 的优点Nginx应用场合主流Web服务产品对比说明Apache-特性Nginx-特性web服务产品性能对比测试静态数据性能对比动态数据性能对比为什么Nginx的总体性能比Apache高。如何选择WEB服务器入门操作Nginx的安装1、先安装Nginx依赖的包2、下载并上传安装包3、解压4、进入到Nginx的安装目录进行configure编译5、安装6、查看版本5、Nginx的启动与停止6、nginx的配置原创 2020-06-26 17:59:45 · 1025 阅读 · 0 评论 -
Redis秒杀
Redis秒杀RedisTest.javapackage com.hadoop.Redis;import java.util.Random;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import redis.clients.jedis.Jedis;public class RedisTest { public static void main(String[]原创 2020-06-24 12:50:20 · 272 阅读 · 0 评论 -
Jedis----Java使用Redis
文章目录标题Java 使用 Redis连接RedisDebug添加列表Java 使用 Redis参考:https://blog.csdn.net/zspppppp/article/details/84847323https://www.runoob.com/redis/redis-java.html创建一个Maven项目,名为RedisPS:每次执行完建议删除操作:例:del name1、添加相应的依赖<!-- https://mvnrepository.com/artifact/re原创 2020-06-23 13:26:17 · 396 阅读 · 0 评论 -
Redis的部署与命令操作
Redis学习目录Redis学习笔记Redis 简介Redis 优势Redis与其他key-value存储有什么不同?Redis的环境部署向Redis服务端发送命令数据类型Redis 命令Redis keys 命令Redis 字符串命令Redis hash 命令Redis 列表命令Redis 集合命令Redis 有序集合命令Redis HyperLogLog 命令Redis 发布订阅命令Redis 脚本命令Redis 连接命令Redis 服务器命令Redis学习笔记Redis 简介Redis 是完全开原创 2020-06-21 19:15:44 · 340 阅读 · 0 评论 -
HBase的安装部署与学习
文章目录标题HBase简介Hive与HBase的比较Hbase 特点HBase架构Zookeeper的部署1、下载上传2、解压3、修改配置文件4、创建文件夹5、将配置好的zookeeper传给slave1,slave26、配置myid7、启动zookeeperDebug:8、查看jps9、查看机子的状态HBase的部署1、下载上传2、解压3、配置环境变量4、修改配置文件5、将配置好的HBase传给slave1,slave26、在master上启动HBase7、查看jps8、查看 HBase 页面HMaste原创 2020-06-11 14:10:18 · 642 阅读 · 1 评论 -
Sqoop的安装配置与使用
文章目录标题介绍与特点概述工作机制安装与配置Sqoop常用的命令操作将数据库中的数据导入到HDFS将HDFS上的数据导出到数据库中介绍与特点Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop,类似于其他ETL工具,使用元数据模型来判断数据类型并在数据从数据源转移到原创 2020-06-06 17:31:57 · 8907 阅读 · 8 评论 -
Hive的安装与基本操作
Hive1.Hive 官网地址 http://hive.apache.org/2.文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted3.下载地址 http://archive.apache.org/dist/hive/Hive在Hadoop集群上的安装部署1、下载Hive,地址:http://mirror.bit.edu.cn/apache/hive/我下载的版本是:apache-hive-1.2.2-bi原创 2020-05-30 09:34:01 · 667 阅读 · 0 评论 -
Lucene入门(3) | 利用 IK-analyzer 进行中文分词
文章目录利用 IK-analyzer 进行中文分词分析器(Analyzer)的执行过程实操代码一、不配置暂停词和字典二、配置暂停词和字典利用 IK-analyzer 进行中文分词分析器(Analyzer)的执行过程如下图是语汇单元的生成过程:从一个Reader字符流开始,创建一个基于Reader的Tokenizer分词器,经过三个TokenFilter生成语汇单元Token。要看分析器的分析效果,只需要看Tokenstream中的内容就可以了。每个分析器都有一个方法tokenStream,返回一原创 2020-05-22 15:56:41 · 562 阅读 · 0 评论 -
Lucene入门(2) | 查询索引
目录用户查询接口创建查询执行查询实现步骤IndexSearcher搜索方法TopDocs实操代码查询索引也是搜索的过程。搜索就是用户输入关键字,从索引(index)中进行搜索的过程。根据关键字搜索索引,根据索引找到对应的文档,从而找到要搜索的内容(这里指磁盘上的文件)。用户查询接口全文检索系统提供用户搜索的界面供用户提交搜索的关键字,搜索完成展示搜索结果。比如:Lucene不提供制作用户搜索界面的功能,需要根据自己的需求开发搜索界面。创建查询用户输入查询关键字执行搜索之前需要先构建一个查询对原创 2020-05-21 10:09:47 · 569 阅读 · 0 评论 -
Lucene入门(1) | 创建索引库
Lucene文章目录Lucene创建文档对象分析文档创建索引创建索引库实现步骤实操代码Field的属性创建文档对象获取原始内容的目的是为了索引,在索引前需要将原始内容创建成文档(Document),文档中包括一个一个的域(Field),域中存储内容。这里我们可以将磁盘上的一个文件当成一个document,Document中包括一些Field(file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容),如下图:注意:每个Document可原创 2020-05-20 20:58:32 · 1092 阅读 · 0 评论 -
open(java.nio.file.Path) in FSDirectory cannot applied的解决方法
出现这个问题主要是Lucene的版本兼容问题。在Lucene5.0.0版本下,FSDirectory.open()中open的参数是FileDirectory directory = FSDirectory.open(new File(path));如果Lucene版本在5.0.0以上的,FSDirectory.open()中open的参数是PathDirectory directory = FSDirectory.open(Paths.get(path));总之二选一即可...原创 2020-05-20 13:11:42 · 364 阅读 · 0 评论 -
Eclipse将Hadoop上运行的结果读取并写入mysql数据库
运行的程序:Hadoop编写MapReduce之统计学生平均成绩将程序所得结果内容进行读取,然后写入数据库Conn.javapackage com.hadoop.ComputerScore;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;impor...原创 2020-04-28 13:46:29 · 500 阅读 · 0 评论 -
Hadoop编写MapReduce之统计学生平均成绩
目录标题统计学生的平均成绩先在集群里创建几个文件文件写好就上传到分布式文件系统编写JAVA程序Score.java转成jar包,放入集群编译成功查看结果统计学生的平均成绩先在集群里创建几个文件 第一个:vim score.txt[hadoop@master mapreduce]$ cd[hadoop@master ~]$ lshadoop-2.7.7.master.tar.gz ...原创 2020-04-24 09:15:54 · 8783 阅读 · 4 评论 -
基于Zookeeper的Spark高可用集群
目录标题网络配置测试网络修改主机名 & 主机映射关闭防火墙挂载--更换yum源--安装vim,gcc安装Java环境SSH无密码登录节点配置可以在这里进行server1,server2,server3的克隆安装hadoop-2.7.7(先在server1上执行就可以了)配置hadoop集群环境(先在server1上执行就可以了)安装下载zookeeper并配置环境(三台机子都要执行)zoo...原创 2020-04-23 23:06:01 · 763 阅读 · 0 评论 -
Hadoop编写MapReduce之入门案例WordCount(自带+编写java)
目录标题Hadoop自带案例WordCount运行MapReduce可以很好地应用于各种计算问题网页查看集群上jar包的位置程序的介绍自己编写WordCount的project(MapReduce)把jar包放进集群的MapReduce里,用 rz 这个命令(这个jar包的位置可以随意放)Hadoop自带案例WordCount运行MapReduce可以很好地应用于各种计算问题关系代数运算(...原创 2020-04-23 16:29:47 · 1130 阅读 · 1 评论 -
解决Eclipse无法远程连接hadoop——ConnectTimeoutException
我终于用Eclipse成功连接上Hadoop了!!啊啊啊啊啊啊!!来自少女的狂欢啊!!!!太快乐了!!!!我遇到的情况如下:然后就是还有下面这一大长串:(看着就头疼!!)org.apache.hadoop.net.ConnectTimeoutException: Call From LAPTOP-JNDAQOOH/192.168.137.1 to 192.168.100.11:9000 ...原创 2020-04-13 15:30:05 · 3043 阅读 · 0 评论 -
编译hadoop-eclipse-2.7.7插件遇到的坑
学习Hadoop之路漫漫在Linux上配置完Hadoop的集群后就开始在eclipse上实现HDFS/MapReduce编译问题。别着急走,后面还有解决方法噢。然而在实现过程中却遇到了下面的问题:(为啥老师讲的时候刷刷刷就过了,我要捣鼓这么久!!)D:\StudyInSchool\Hadoop\hadoop\hadoop2x-eclipse-plugin-master\src\contr...原创 2020-04-11 15:12:51 · 1683 阅读 · 54 评论 -
Apache ant的安装与使用
Apache ant在Windows上的安装你的电脑上已经安装有Java环境,可以在cmd上输入java -version。到官网上下载相应的版本,地址:http://ant.apache.org/bindownload.cgi不需要安装,直接解压到相应目录就可以了。配置环境。ANT_HOME:安装目录PATH: %ANT_HOME%\bin配置完之后就在cmd里看是否安装成...原创 2020-04-08 10:30:11 · 398 阅读 · 0 评论 -
Hadoop集群搭建(超详细)(伪分布式配置)
最近在上Hadoop的课,要求配置Hadoop集群。我在网上查了资料,跟着步骤一步一步做下来而且成功了。但是过程并不太熟悉,所以打算借着做笔记的机会将整个过程重新梳理一遍,重头到尾再做一次。可参考的资料:Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS我使用的系统环境是Cent...原创 2020-03-21 22:07:57 · 1941 阅读 · 6 评论