- 博客(59)
- 收藏
- 关注
RSS订阅原创 Windows下运行HDFS、MapReduce报错问题
文章目录Windows下运行HSFS、MapReduce报错问题Windows下运行HSFS、MapReduce报错问题问题1：安装目录不能有中文名问题2： Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable nu...
2019-03-01 11:05:22
299
原创 Kafka的架构及其原理
文章目录Kafka的架构及其原理概述kafka体系架构高可靠性文件结构复制原理和同步方式ISR数据可靠性和持久性保证消息传输过程的可靠性保障高性能Kafka的架构及其原理概述Kafka最初由LinkedIn公司开发的分布式消息系统，后来才贡献给了Apache，底层是由Scala编写具有高性能、持久化、多副本备份、横向扩展的能力基于发布-订阅模式（push-pull）,常用作解耦、削峰、...
2019-01-27 16:20:50
356
原创 Ali Canal
文章目录Ali Canal背景需求数据同步解决方案常规思路高效思路Canal组件介绍使用canal下载地址canal在IDEA或者Eclipse中的使用示例linux上配置使用Canal---QuickStart常见问题Ali Canal背景需求背景：分布式系统中会存在许多中间件，比如：Redis、Kafka、大数据存储，但是生产环境核心数据肯定是存在mysql的需求：如何将mysql的...
2019-01-27 16:03:26
540
原创 SpringBoot开发Web项目
文章目录SpringBoot-Web项目SpringBoot-Web项目注意：用的IDEA来示范1、直接选择Spring Initializr项目点击【next】步骤：File->new->Project->Spring Initializr->Next继续Next① 选择Web–>web勾上② 选择Template Engine
2019-01-12 23:31:11
523
原创 Spark集群搭建
文章目录Spark集群搭建Spark集群搭建sprak完全分布式搭建：spark安装包下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgzscala安装包下载地址：https://www.scala-lang.org/download/2.11.2.html...
2019-01-11 21:14:26
532
2
原创 Hive安装以及异常处理
文章目录Hive安装Hive元数据库Mysql的安装hive的安装Hive安装过程中的异常以及解决方法Hive安装Hive元数据库Mysql的安装（这儿展示Ubuntu系统安装Mysql）1. sudo apt-get install mysql-server2. apt-get install mysql-client3. sudo apt-get install libmysqlc...
2019-01-11 13:52:47
579
原创 Spring-Kafka
文章目录Spring-KafkakafkaConsumerkafkaConsumer消费者模型Consumer ConfigskafkaProducerkafkaProducer生产者模型Producer Configs使用过程中踩的坑Spring-Kafka参考文章：深入剖析spring-kafka kafkaConsumerkafkaConsumer消费者模型spring-kafk...
2019-01-10 15:48:47
734
原创 Hadoop完全分布式
文章目录Hadoop完全分布式搭建Hadoop原理介绍搭建背景说明VMware虚拟机的安装使用虚拟机准备组件准备开始搭建hadoop分布式集群安装jdk和hadoopHadoop完全分布式搭建Hadoop原理介绍查看我的另一篇文章：https://blog.csdn.net/weixin_42529806/article/details/84026873搭建背景说明用于学习大数据使用...
2019-01-09 11:01:23
1055
3
原创 Ubuntu基本命令
文章目录(一)Ubuntu基本命令准备工作远程访问systemctl命令安装telnet用户操作防火墙操作Vim更新(一)Ubuntu基本命令准备工作安装Ubuntu虚拟机：https://www.cnblogs.com/la-fe/p/7835252.html使用XShell管理Ubuntu：https://ken.io/note/xshell-setup-ssh远程访问#1、安...
2018-12-14 11:08:27
407
原创 Redis
文章目录Redis学习Redis介绍使用场景基本命令字符串 String散列 hash列表 list无序集合 set有序集合:sorted set发布和订阅其他命令持久化RDB方式AOF方式集群方案复制方式哨兵模式集群模式分布式锁分析同进程锁分布式锁Redis分布式锁方案红包案例分析业务介绍业务难点技术设计基础组件概念红包拆分方案拆分算法深层思考Feed流案例作业业务介绍业务难点技术设计Redi...
2018-12-14 10:50:56
179
原创 Python高级
文章目录Python高级python面向对象简介创建类创建对象访问属性python的内置属性python的对象销毁类的继承方法重写和重载类的属性和方法python正则表达式re.match函数re.search方法正则实例Python高级python面向对象简介类类变量数据成员（类变量或者实例变量）方法重写局部变量实例变量继承实例化方法对象创建类class Emp...
2018-12-13 16:50:21
243
原创 python入门
文章目录python3.0入门简介特点基础数据类型Numbers（数字）---不可变String（字符串）---不可变List（列表）---有序的、可变的Tuple（元组）---不可变Set（集合）---无序的Dictionary（字典）---无序的，可变的运算符算术运算符比较运算符赋值运算符位运算符逻辑运算符成员运算符身份云算法运算符优先级条件控制循环语句迭代器函数python3.0入门简介...
2018-12-13 16:48:58
264
转载 CDH安装
Vmware14虚拟机安装Ubuntu16.04：https://blog.csdn.net/salmon_zhang/article/details/79468918 Ubuntu16.04安装CDH5.14.2：https://www.cnblogs.com/joy9707/p/9063564.html vmware14 虚拟机一段时间没用，再打开后黑屏没反应，命令：netsh...
2018-12-13 16:43:36
130
原创 mysql的索引
文章目录mysql的索引mysql索引的数据结构mysql索引分类聚集索引（主键）非聚集索引（又称二级索引）聚集索引和非聚集索引的区别mysql索引原理以及查询优化mysql的索引mysql索引的数据结构B+Tree结构最上层：根节点中间层：非叶子节点最下层：叶子节点B+Tree结构索引原理：https://www.jianshu.com/p/486a514b0ded...
2018-12-12 18:50:30
826
原创 java设计模式---策略模式
文章目录设计模式单例模式、策略模式、工厂模式...策略模式设计模式单例模式、策略模式、工厂模式…策略模式定义又叫Policy，将多个不同算法，将其分别封装起来，并且使他们可以相互替换。策略模式可以独立于使用他们的客户端而变化常用于替换多个的if else的场景好处1：满足java的开闭原则，扩展开放，修改关闭好处2：符合java面向对象的特性案例说明：某支付系统的充值算...
2018-11-27 18:37:26
233
原创 Proxyee_down
百度网盘高速下载的工具 ：Proxyee_down 下载地址：https://pan.baidu.com/s/1AOl4QRqDsssf48nHP51jmA Proxyee_down使用教程：教程地址：https://blog.csdn.net/shadandeajian/article/details/80349939 Proxyee_down底层代码：后端框架：j...
2018-11-13 12:34:44
1114
原创 Hadoop
HadoopHadoophadoop简介hadoop的特点hadoop版本演进hadoop1.0（0.20x 0.21x 0.22x 1.x）hadoop2.0（0.23x 2.x）hadoop2.0生态圈核心内容子项目Hadoop分布式文件系统:HDFSHDFS简介HDFS体系架构HDFS数据复制HDFS技术要点回顾Hadoop统一资源管理框架YARN概述YARN体系架构YARN应用工作流程YA...
2018-11-13 12:26:37
624
原创 聚类算法
聚类分析聚类分析背景小故事初识聚类分析什么是聚类分析聚类分析的要求基于划分的聚类算法概念和特点代表算法k-均值(k-means)：基于形心流程优缺点k-means++：k-means的改进流程k-means算法的应用k-中心点(k-medoids)：基于代表对象基于层次的聚类算法概念和特点代表算法BIRCH算法CURE算法CHAMELEON算法基于密度的聚类算法概念和特点代表算法DBSCAN算法O...
2018-11-13 11:46:06
928
原创 java设计模式---单例模式
原创不易，转载请注明出处：https://blog.csdn.net/weixin_42529806/article/details/82980572直接上最好的单例创建方法：静态内部类(注意：懒汉式和饿汉式都有各自的问题，这儿不作介绍)好处：1、只有在调用getInstance()方法的时候才会加载静态内部类，从而获取此单例对象---不影响类的加载效率以及资源浪费的情况2、多线程情况下，...
2018-10-09 13:15:06
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人