- 博客(14)
- 收藏
- 关注
RSS订阅原创 gradle 个人总结
一、背景：买了一本ElasticSearch源码解析与优化实战，一年后终于打开了，然后卡在了源码编译和打开上。。。于是放下书本，开始学习Gradle。无奈自己踩的坑到网上查不到个明白的解决办法，故自己按自己的思路整理于此。保姆级入门教程二、步骤与问题1、怎么安装的和别人的不一样？我第一次下载是在官网下载的，配置完环境变量后，运行 gradle -v 发现返回的图片和别人不一样。终端窗口返回了版本号，没和我说欢迎。那我肯定还得找别的下载再试试。最后，给大家推荐黑马程序员推荐的Grad.
2021-01-04 19:55:56
185
原创 大数据基础MR/HBase实验
大数据基础已上线实验课程：大数据实战课程-HDFS实战：https://cloud.tencent.com/edu/learning/course-1862 大数据实战课程-MapReduce实战：https://cloud.tencent.com/edu/learning/course-1865 大数据实战课程-Hive实战：https://cloud.tencent.com/edu/learning/course-1877 大数据实战课程-MapReduce实现TopN操作实战：http...
2020-09-17 11:40:21
296
原创 Maven学习笔记——build便签怎么写
<build><plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> ...
2020-04-15 22:04:10
179
原创 python2虚拟环境笔记+mycli使用
一、python 虚拟环境[virtualenv/virtualenvwrapper]设置1、介绍1.virtualenvvirtualenv 是一个可以在同一计算机中隔离多个python版本的工具。能够：在没有权限的情况下安装新套件 不同应用可以使用不同的套件版本 套件升级不影响其他应用2.virtualenvwrappervirtualenvwrapper是vi...
2019-08-29 14:58:06
296
原创 Apache Flink自学踩坑
问题1：找不到参数证据$2:typeinformation[（string，string，string）]Flink error: No implicits found for parameter evidence$2: TypeInformation[(String, String, String)]问题1解决：import org.apache.flink.api.sc...
2019-08-07 09:27:04
9152
9
原创 阿里云ECS挂载镜像后，IP配置的修改
写篇文章缅怀多哥，多哥真的很优秀。1.问题背景在购买ECS并挂载第三方镜像市场的镜像时，往往新建实例还保留了原镜像中的IP，导致软件或服务异常。以Hadoop为例，如果我们在购买ECS时，选择了内置Hadoop的镜像。直接运行时会出现：当时还是linux小白的我慌得很。2.解决方案2.1 把/etc/hosts里过期的IP删掉在查看hosts时，我们可以2.2 ...
2019-06-13 09:35:22
884
原创 远程登录你的windows电脑
系统：windows7ssh工具：SecureCRT常用CMD命令d: 切换到D盘cd d:/Data 切换到Data目录dir 显示当前目录dir /w 显示当前目录ipconfig 查看ip配置参考自：https://www.jianshu.com/p/4908af1d3c32一、打开Telnet客户端和服务器win+R 输入Control，打开控制面板二、运行Te...
2019-03-18 16:03:56
1292
原创 MySQL 8 的ECS安装加初始配置
感觉自己装个mysql都好艰辛，搞完写个博客纪念一下ECS版本：阿里云CentOS 6.9一、下载和安装分别下载server和clientwget https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community-el6/mysql-community-server-8.0.15-1.el6.x86_64.rpmwget h...
2019-02-25 20:17:26
325
转载 实时计算的消息不丢失机制
目录 Storm消息不丢失 ack 机制如何使用Ack机制如何关闭Ack机制Ack机制基本实现kafka消息不丢失生产者(producer)消费者(consumer)服务器(broker)Storm消息不丢失 ack 机制 Ack机制是storm整个技术体系中非常闪亮的一个创新点。通过Ack机制，spo...
2018-09-02 21:39:47
397
原创 hadoop离线计算与storm实时计算的细分对比
一、资源调度对比Hadoop MapReduceV2(Yarn) 框架 Hadoop从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn。新旧Hadoop计算框架变化参考链接：https://www.ibm.com/developer...
2018-08-30 20:48:45
1492
转载 kafka为什么那么快
Kafka 为什么那么快Broker 不同于 Redis 和 MemcacheQ 等内存消息队列，Kafka 的设计是把所有的 Message 都要写入速度低容 量大的硬盘，以此来换取更强的存储能力。实际上，Kafka 使用硬盘并没有带来过多的性能损失，“规规矩矩”的抄了一条“近道”。 首先，说“规规矩矩”是因为 Kafka 在磁盘上只做 Sequence I/O，由于消...
2018-08-30 11:19:09
1408
原创 hadoop格式化(hadoop format)的注意事项
格式化命令:关于hdfs的格式化首次启动需要进行格式化 格式化本质是进行文件系统的初始化操作 创建一些自己所需要的文件 格式化之后 集群启动成功 后续再也不要进行格式化 格式化的操作在hdfs集群的主角色（namenode）所在机器上操作hdfs namenode–format hadoop namenode –format格式化后返回的信息DEPRECATE...
2018-08-28 22:46:41
44848
4
原创 HIVE分区入门踩坑
HIVE-静态分区入门踩坑概念在先: 1: 静态分区是把一个目录下面的很多【文件】分类存放起来，底层不执行mr程序 2: 静态分区只能细化到【文件】，但是细化不到内容 3: 目的是单表查询的时候缩小查询范围，提高单表的查询效率步骤:1.创建一个学生表create table t_student (id int,name string) partitioned by (sex...
2018-08-24 21:01:22
538
原创 HIVE-元数据存储
HIVE-元数据存储元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关 系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库 （Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓 库的设计、部署、操作和管理能达成协同和一致。1. 元数据存储介质根据元数据存储的介质不同，分为下面两个版本，其中...
2018-08-22 22:56:48
11603
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人