- 博客(36)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop的安装与配置——设置单节点群集
本篇博客将主要介绍如何设置和配置单节点Hadoop安装，以便我们可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。先决条件1、本系列以Ubuntu Linux作为开发和生产平台2、Linux所需的软件包括：JAVA：必须安装Java，配置好JDK环境变量；SSH：如果要使用可选的启动和停止脚本，则必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本；pdsh：安装pdsh以便更好地进行ssh资源管理。如果
2020-06-30 15:11:08
3341
原创 日常问题——pdsh localhost Connection refused
问题描述：本地安装hadoop单机模式的时候需要启动namenode时报错pdsh@xxx: localhost: connect: Connection refused解决方案（过程）：原因是pdsh默认采用的是rsh登录，修改成ssh登录即可，在环境变量/etc/profile里加入：export PDSH_RCMD_TYPE=ssh再source profile生效。然后再启动查看jps即可看到hdfs服务启动。...
2020-06-30 14:26:09
3669
转载 日常问题———Attempting to operate on hdfs namenode as root
写在最前注意：1、master，slave都需要修改start-dfs.sh，stop-dfs.sh，start-yarn.sh，stop-yarn.sh四个文件2、如果你的Hadoop是另外启用其它用户来启动，记得将root改为对应用户HDFS格式化后启动dfs出现以下错误：[root@master sbin]# ./start-dfs.shStarting namenodes on [master]ERROR: Attempting to operate on hdfs namenode a
2020-06-30 11:16:37
3179
1
原创 通过Flume简单实现Kafka与Hive对接（Json格式）
将以下存储在kafka的topic中的JSON格式字符串，对接存储到Hive的表中{"id":1,"name":"小李"}{"id":2,"name":"小张"}{"id":3,"name":"小刘"}{"id":4,"name":"小王"}1、在hive/conf/hive-site.xml中添加或修改如下内容： <property> <name>hive.txn.manager</name> <value>org.a
2020-06-29 16:56:10
4484
原创 日常问题——flume连接hive时报错Caused by: java.lang.NoSuchMethodError
问题描述：今天新安装的flume，使用flume来做kafka与hive对接时出现了以下两个的错误：Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUri='thrift://localhost:9083', database='db', table='student', partitionVals=}(HiveWriter.java:99) at org.apache.flum
2020-06-29 09:01:15
3665
原创 Flume监听端口，输出端口数据案例
1、在flume目录下新建/myconf目录,并在目录下新建socket-console.conf 文件！mkdir myconfcd myconftouch socket-console.conf2、编辑文件vim socket-console.conf，添加以下内容：# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1 # 描述和配置source组件：r1a1.sources.r1.type = netcat
2020-06-27 14:21:26
3495
原创 Linux环境下Flume的安装
1、在官网http://flume.apache.org/download.html下载flume的压缩包2、解压到指定位置并重命名tar -zxvf apache-flume-1.9.0-bin.tar.gz3、配置环境并生效#vi ~/.bashrcexport FLUME_HOME=/usr/local/APP/flumeexport PATH=$PATH:$FLUME_HOME/bin#使变量设置生效#source ~/.bashrc4、配置JDK环境：进入conf/目录修改
2020-06-27 00:11:56
3162
原创 HDFS常用Shell命令
1、-ls: 显示目录信息hadoop fs -ls /2、-mkdir：在HDFS上创建目录hadoop fs -mkdir -p /demo/test3、-moveFromLocal：从本地剪切粘贴到HDFShadoop fs -moveFromLocal a.txt /demo/test/a.txt4、-appendToFile：追加一个文件到已经存在的文件末尾hadoop fs -appendToFile b.txt /demo/test/b.txt5、-cat：显示文
2020-06-25 16:39:52
3112
原创 Hadoop之HDFS应用
1、通过http://127.0.0.1:8088/即可查看集群所有节点状态：2、访问http://localhost:9870/即可查看文件管理页面（在3.0.0中在之前的版本中文件管理的端口是50070，替换为了9870端口）：————进入文件系统————其中搜索框左边的图标选项分别为：“创建目录”、“上传文件”、“剪切与粘贴”。。...
2020-06-25 15:04:37
3207
原创 日常问题——初始化Hive仓库报错com.google.common.base.Preconditions.checkArgument
问题描述：初始化Hive仓库报错Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V解决方案（过程）：com.google.common.base.Preconditions.checkArgument 这是因为hive内依赖的guava.jar和hadoop内的版
2020-06-24 14:18:28
10583
2
原创 Mac使用Homebrew安装Kafka
1、使用brew install命令安装Kafka$ brew install kafka安装过程将依赖安装 zookeeper软件位置 /usr/local/Cellar/zookeeper /usr/local/Cellar/kafka配置文件位置 /usr/local/etc/kafka/zookeeper.properties/usr/local/etc/kafka/server.properties备注：后续操作均需进入 /usr/local/Cellar/kafka/2.0
2020-06-23 20:20:05
3486
原创 简单实现MySQL数据实时增量同步到Kafka————Maxwell
任务需求：将MySQL里的数据实时增量同步到Kafka1、准备工作1.1、MySQL方面：开启BinLog1.1.1、修改my.cnf文件vi /etc/my.cnf[mysqld]server-id = 1binlog_format = ROW1.1.2、重启MySQL,然后登陆到MySQL之后，查看是否已经修改过来:mysql> show variables like 'binlog_format';+---------------+-------+| Variable_
2020-06-23 20:15:59
4243
原创 日常问题——使用Xshell 连接虚拟机报错 Disconnected from remote host
问题描述：使用Xshell进行连接虚拟机的操作时出现了Disconnected from remote host的错误！解决方案（过程）：1、vim /etc/ssh/sshd_config2、#UseDNS yes改为UseDNS no3、重启sshd service sshd restart问题解决！！！...
2020-06-22 13:50:10
9669
原创 MongoDB（二）：MongoDB的安装
这里以OSX系统为例，window和linux可以参考https://www.runoob.com/mongodb/mongodb-linux-install.html1、我们使用 curl 命令来下载安装：# 进入 /usr/localcd /usr/local# 下载sudo curl -O https://fastdl.mongodb.org/osx/mongodb-osx-ssl-x86_64-4.0.9.tgz# 解压sudo tar -zxvf mongodb-osx-ssl-
2020-06-21 14:18:25
3067
原创 日常问题——Mac下新建目录报Read-only file system
问题描述：今天在根目录下，新建目录时出现了Read-only file system提示为只读的错误。电脑最近并没有非正常关机之类可能导致文件损伤的操作，但是最近倒是进行了一次系统更新。解决方案（过程）：从系统更新入手，发现对于 macOS 10.11＋ 用户，系统启用了 SIP(System Integrity Protection)！SIP全称为System Integrity Protection，就是系统完整性保护，这是OS X El Capitan时开始采用的一项安全技术，SIP可以将一些
2020-06-21 11:10:58
5096
原创 Hadoop的目录结构
-rw-r--r--@ 1 marron27 staff 106210 10 23 2019 LICENSE.txt-rw-r--r--@ 1 marron27 staff 15841 10 23 2019 NOTICE.txt-rw-r--r--@ 1 marron27 staff 1366 10 23 2019 README.txtdrwxr-xr-x@ 13 marron27 staff 416 10 23 2019 bindrwxr-xr-x@ 3
2020-06-20 14:32:35
3326
原创 Hadoop的安装及配置
1、Hadoop安装前准备工作：在开始Hadoop安装与配置之前，需要准备的环境：Linux系统、配置JDK环境变量。2、安装我们可以到Apache Hadoop的官网http://hadoop.apache.org/进行下载相应的安装文件！下载后，使用 : tar -zxvf tar包名，解压到指定位置！3、Hadoop配置文件的修改Hadoop主要修改的配置文件为5处：hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlya
2020-06-20 10:34:09
3346
原创 初识Hadoop：大数据与Hadoop概述
1、大数据概述大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的主要特点（4V）是：数据量大（Volume）数据类别复杂（Variety）数据处理速度快（Velocity）和数据真实性高（Veracity）还有的将大数据特点定义为6V模型，即增加了Valence（连接）、Value（价值）2V。大数据相关的技术、框架：
2020-06-20 10:05:40
3136
原创 日常问题——解决mac下 ssh: connect to host localhost port 22: Connection refused
问题描述：今天使用ssh 登陆本地时即使用ssh localhost出现了 ssh: connect to host localhost port 22: Connection refused 错误！然后在网上看了很多的解决方案，也都是千篇一律，大多数是针对ssh安没安装的？那肯定是其他错误啊！解决方案（过程）：发现是说22端口谢绝链接，但是查看系统22端口占用情况时（lsof-i:22），发现22端口没有被占用，而此时ssh是运行的状态，然后查看了一下ssh用的端口，果然不是22；查看/etc
2020-06-20 01:15:13
7332
1
原创 Linux系列（一）：简介与目录结构
1、Linux简介1.1、起源Linux出现于1991年，是由芬兰赫尔辛基大学学生Linus Torvalds和后来加入的众多爱好者共同开发完成1.2、Linux特点多用户，多任务，丰富的网络功能，可靠的系统安全，良好的可移植性，具有标准兼容性，良好的用户界面，出色的速度性能，开源。2、Linux目录结构bin (binaries)存放二进制可执行文件boot 存放用于系统引导时使用的各种文件dev (devices)用于存放设备文件home 存放用户文件的根目录mnt (mount
2020-06-17 20:04:36
3023
原创 Redis（十四）：Jedis
Jedis是Redis官方推荐的Java连接开发工具。要在Java开发中使用好Redis中间件，必须对Jedis熟悉才能写成漂亮的代码！1、新建Maven工程，导入对应依赖<dependencies> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId>
2020-06-15 16:51:53
2890
原创 Redis（十三）：Redis实现乐观锁
1、悲观锁与乐观锁乐观锁和悲观锁是一种程序设计思想，而不是具体的代码。乐观锁和悲观锁应用的场景有很多，在数据库和多线程等等都会用到。悲观锁：总是假设最坏的情况，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会阻塞直到它拿到锁（共享资源每次只给一个线程使用，其它线程阻塞，用完后再把资源转让给其它线程）。乐观锁：总是假设最好的情况，每次去拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断一下在此期间别人有没有去更新这个数据。2、Redis
2020-06-15 15:40:37
3164
原创 MongoDB（一）：简介
1、MongoDB概述MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 是一款流行的开源文档型数据库，从它的命名来看，确实是有一定野心的。MongoDB 的原名一开始来自于 英文单词"Humongous", 中文含义是指"庞大"，即命名者的意图是可以处理大规模的数据。使用这个文档数据库的特点是几乎不受什么限制，一方面Json文档式的
2020-06-14 22:54:28
3117
原创 Redis（十二）：Redis事务的基本操作
1、Redis事务概念Redis 事务的本质是一组命令的集合。事务支持一次执行多个命令，一个事务中所有命令都会被序列化。在事务执行过程，会按照顺序串行化执行队列中的命令，其他客户端提交的命令请求不会插入到事务执行命令序列中。总结说：redis事务就是一次性、顺序性、排他性的执行一个队列中的一系列命令。Redis不保证原子性：Redis中，单条命令是原子性执行的，但事务不保证原子性，且没有回滚。事务中任意命令执行失败，其余的命令仍会被执行。Redis事务没有隔离级别的概念：批量操作在发送 EXEC
2020-06-14 20:23:18
3019
原创 Redis（十一）：Redis特殊类型之Bitmap位图
1、位存储只有0和1两种状态！Bitmap 位图：数据结构，都是操作二进制位来进行记录登录/未登录 活跃/不活跃 打卡两个状态的都可以使用Bitmap！2、常用命令2.1、用Bitmap来记录 周一到周日的登陆情况127.0.0.1:6379> SETBIT sign 1 0(integer) 0127.0.0.1:6379> SETBIT sign 2 0(integer) 0127.0.0.1:6379> SETBIT sign 3 1(integer) 01
2020-06-13 10:51:31
3047
原创 Redis（十）：Redis特殊类型之Hyperloglog基数统计
redis 2.8.9版本就更新了Hyperloglog数据结构！Hyperloglog：基数统计算法！0.81%的错误率，不过统计大量数据可以忽略！在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。1、什么是基
2020-06-13 10:40:08
3725
原创 Redis（九）：Redis特殊类型之geospatial
朋友的定位，附近的人，位置共享，打车距离redis在3.2就已经推出了geospatial！两地之间的距离，方圆几里的人！都可以用它实现这个需要把你所在地的经纬度输进去，我们可以在http://www.jsons.cn/lngcode/进行查询！1、geospatial的六个命令1.1、GEOADD127.0.0.1:6379> geoadd china:city 39.90 116.40 beijing //添加地理位置（北京）(integer) 1127.0.0.1:6379>
2020-06-13 10:19:43
3076
原创 Redis（八）：Zset有序集合数据类型详解
Redis 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的,但分数(score)却可以重复。集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。实例redis 127.0.0.1:6379> ZADD runoobkey 1 r
2020-06-12 21:03:45
3106
原创 Redis（七）：Hash哈希数据类型详解
Redis hash 是一个 string 类型的 field 和 value 的映射表，hash 特别适合用于存储对象。Redis 中每个 hash 可以存储 232 - 1 键值对（40多亿）。实例：127.0.0.1:6379> HMSET runoobkey name "redis tutorial" description "redis basic commands for caching" likes 20 visitors 23000OK127.0.0.1:6379>
2020-06-12 19:16:51
3116
原创 Redis（六）：Set集合数据类型详解
Redis 的 Set 是 String 类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。实例：redis 127.0.0.1:6379> SADD runoobkey redis(integer) 1redis 127.0.0.1:6379> SADD runoobkey mongod
2020-06-12 15:01:52
3009
原创 Redis（五）：List集合数据类型详解
Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）一个列表最多可以包含 232 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。实例：redis 127.0.0.1:6379> LPUSH runoobkey redis(integer) 1redis 127.0.0.1:6379> LPUSH runoobkey mongodb(integer) 2redis 127.0.0.1:6379> LP
2020-06-12 12:35:24
3667
原创 Redis（四）：String字符串数据类型详解
Redis 字符串数据类型的相关命令用于管理 redis 字符串值，基本语法如下：redis 127.0.0.1:6379> COMMAND KEY_NAME1、String类型的常用命令1.1、set、getSET key v//设置key值为vget key //获取key值1.2、AppendAPPEND key "hi" //给key后追加字符串"hi"1.3、STRLENSTRLEN key //获取key字符串的长度1.4、incr、decrincr key
2020-06-12 11:22:06
3019
原创 Redis（三）：Redis基础知识与常用命令
1、基础命令Redis默认有16个数据库，用的是第0个数据库，可以使用select进行切换数据库，使用DBSIZE查看DB大小（只针对当前数据库）。使用keys * 查看当前数据库下所有的key，使用flushdb清除当前数据库，flushall清除全部数据库内容。Redis是单线程的，Redis是基于内存操作，CPU不是Redis的性能瓶颈，Redis的瓶颈是机器的内存和网络带宽。（对于内存系统来说，如果没有上下文切换效率就是最高的！）2、Redis-Key相关命令Exists key:判
2020-06-11 18:46:06
2971
原创 Redis（二）：Redis入门与性能测试
1、Redis概述Redis是什么：Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。免费开源！最热门的NoSQL技术之一！redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。读的速度是110000次/s,写的速度是81000次/s 。Redis的作用：内容
2020-06-11 10:30:30
3027
原创 Redis（一）：什么是NoSQL与NoSQL分类
1、什么是NoSQLNoSQL = Not only SQL (不仅是SQL)，即泛指非关系型数据库。随着Web2.0时代诞生！NoSQL在当今大数据的环境下发展十分迅速！NoSQL 是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。特点：NoSQL方便扩展（数据之间没有关系，很好扩展！）大数据量高性能！（Redis一秒写8万次，读11万次）数据类型是
2020-06-11 09:45:46
3077
原创 Redis（零）：背景
什么是NoSQL，什么是Redis，我们在了解这个系列之前，先来看一下Redis是从何而来？Why redis is needed?1、单机MySQL年代在最早的单机MySQL年代，存在着访问量小，单个数据库等特点。但是特有着众多的缺点：数据量过大时，一个机器放不下；数据的索引（B+ Tree），一个机器也放不下；访问量（读写混合），一个服务器承受不了。2、缓存+垂直拆分+读写分离为解决前面提到数据过大，一个机器放不下问题，演化出了采用多个数据库的模式，也出现了读写分离。但是每次都
2020-06-09 11:14:53
3009
ACM 期刊：Candidate Multilinear Maps
2024-06-13
ACM 期刊：Edmund Berkeley and the Social Responsibility of Computer
2024-06-13
ACM 期刊：Smarter Than Their Machines: Oral Histories of Pioneers i
2024-06-13
ACM 期刊：A Framework for Scientific Discovery through Video Games
2024-06-12
基于SpringBoot系统设计选题，24年2月25日最新
2024-02-25
db_install.rsp
2020-07-14
maxwell-1.20.0.tar.gz
2020-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人