原创 Cris 玩转 Linux 之 Deepin 迁移全过程记录

Cris 玩转 Linux 之 Deepin 迁移全过程记录Author：Cris文章目录Cris 玩转 Linux 之 Deepin 迁移全过程记录Author：Cris0. 序1. 磨刀不误砍柴工2. 什么人适合 Deepin？Deepin 并不适合所有人Deepin 适合的人3. 安装 Deepin4. 打造 Deepin4.1 文字创作神器 Typora4.2 图床上传神器 PicGo...

原创 Cris 玩转大数据系列之消息队列神器 Kafka

Cris 玩转大数据系列之消息队列神器 KafkaAuthor：Cris1. Kafka 概述1.1 消息队列先来看看消息队列的实现原理图（以 Kafka 为例）① 点对点模式一对一，消费者主动拉取数据，消息收到后消息清除点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收...

原创 Cris 玩转大数据系列之日志收集神器 Flume

Cris 玩转大数据系列之日志收集神器 FlumeAuthor：Cris文章目录Cris 玩转大数据系列之日志收集神器 FlumeAuthor：Cris1. Flume 概述1.1 什么是 Flume？1.2 Flume 的优点1.3 Flume 组成架构① Agent② Source③ Channel④ Sink⑤ Event1.4 Flume 常见四种拓扑结构1.5 Flume Agent...

原创 Cris 的 Python 数据分析笔记 08：NumPy 和 Pandas 整理脑图

序张爱玲说:忘记一个人有两种方式，一是时间，二是新欢

原创 Cris 的 Python 数据分析笔记 07：Pandas 中的 Series 数据结构

文章目录1. DataFrame 和 Series 关系2. 新建 Series 数据结构（key 和 value）3. Series 的排序4. 区间求值5. 根据 index 求不同媒体对相同电影评分的均值# Series (Collection of values)# DataFrame (Collection of Series Objects)''' Pandas 读取的 ...

原创 Cris 的 Python 数据分析笔记 06：Pandas 常见的数据预处理

文章目录1. Pandas 对指定列排序2. 泰坦尼克经典入门案例3. Pandas 常用数据预处理函数3.1 缺失值处理3.2 Pandas 预处理函数自动过滤缺失值3.3 手动来计算每种船舱的平均价格3.4 Pandas 的内置函数简化 3.3 节的计算3.5 分组计算制定列之间的关系3.6 数据定位3.7 重排序索引3.8 自定义函数3.9 每行迭代及数据转换3.10 巧妙分组计算数据之间的...

原创 Cris 的 Python 数据分析笔记 05：Pandas 数据读取，索引，切片，计算，列整合，过滤，最值

Pandas 数据读取，索引，切片，计算，列整合，过滤，最值文章目录Pandas 数据读取，索引，切片，计算，列整合，过滤，最值1. read_csv 函数2. DataFrame 数据结构的常用属性2. Pandas 取数据3. Pandas 数据切片4. 按列取值(很重要)5. 按列过滤6. 简单列数据处理7. 类组合并添加到原 DataFrame8. 最值计算1. read_csv 函数...

原创 Cris 玩转大数据系列之任务流神器 Azkaban

Cris 玩转大数据系列之 AzkabanAuthor：Cris文章目录Cris 玩转大数据系列之 AzkabanAuthor：Cris1. 概述1.1 为什么需要工作流调度系统？1.2 引入 Azkaban 的场景1.3 什么是 Azkaban ？1.4 Azkaban 的特点1.5 常见工作流调度系统1.6 Oozie 和 Azkaban 特性对比1.7 Azkaban 的架构1.8 Az...

原创 Cris 的 Python 数据分析笔记 04：NumPy 矩阵的复制，排序，拓展

04. 矩阵的复制，排序，拓展文章目录04. 矩阵的复制，排序，拓展1. NumPy 的引用问题2. 浅复制3 深复制4. 索引求最值5. title 扩展6. sort 排序1. NumPy 的引用问题import numpy as np# 同一个对象的不同引用将会互相影响（实质改变的都是同一个对象）a = np.arange(12)b = aprint(a is b)prin...

原创 Cris 的 Python 数据分析笔记 03：NumPy 矩阵运算和常用函数（重点）

03. 矩阵运算和常用函数（重点）文章目录03. 矩阵运算和常用函数（重点）1. numpy 矩阵判断和计算1.1 与运算1.2 或运算1.3 或运算作为矩阵索引赋值1.4 或运算为二维矩阵赋值1.5 astype 改变元素数据类型1.6 极值函数1.7 axis 指定维度求和1.8 符号计算2. numpy 常用函数（重点）2.1 reshape 函数快速重构二维矩阵2.2 矩阵的初始化2.3...

原创 Cris 小哥哥的大数据项目之 Hive 统计 YouTube 热门视频

Cris 的大数据项目之 Hive 统计 YouTube 热门视频Author：Cris文章目录Cris 的大数据项目之 Hive 统计 YouTube 热门视频Author：Cris1. 项目需求2. 表结构和 ETL2.1 表结构2.2 ETL 原始数据2.3 开启 IDEA 完成 ETL 代码- Mapper 阶段- EtlStringUtil- Driver- 测试3. 服务器完成 E...

原创 Cris 的 Python 数据分析笔记 02：NumPy 数据定位

02. NumPy 数据定位文章目录02. NumPy 数据定位1. numpy 快速判断每个元素2. numpy 判断并返回对应的元素1. numpy 快速判断每个元素import numpy as npvector = np.array([1,2,3,5,2])# array([False, True, False, False, True]) 可以快速对 ndarray 中...

原创 Cris 的 Python 数据分析笔记 01：NumPy 基本知识

01. numpy 的基本知识文章目录01. numpy 的基本知识1. numpy 的第一个函数 genfromtxt2. numpy 的第二个函数 array3. numpy 的第三个函数 shape4. numpy 的 ndarray 数据类型的 dtype 属性5. numpy 的 ndarray 数据类型如何取值6. numpy 的 ndarray 切片7. numpy 的 二维数组切...

原创 Cris 的Python笔记（十四）：脑图福利

原创 Cris 的Python笔记（十三）：异常和文件处理

文章目录1. Python 是如何处理异常的？2. Python 中常用的文件处理语法（重点）3. Python 处理二进制文件4. seek 和 tell 方法5. 文件操作之 os 包的常用 API1. Python 是如何处理异常的？''' Python 如何处理异常的？ 最简单的方式如下 try： 代码块（将可能出错的代码放入到 try 中） ...

原创 Cris 玩转大数据系列之 Hadoop HA 实现

Cris 的 Hadoop HA 学习笔记Author：Cris文章目录Cris 的 Hadoop HA 学习笔记Author：Cris零、序1. Hadoop 实现 HA 原理1.1 什么是 HA？1.2 HA 工作机制2. HDFS-HA 手动故障转移（了解）2.1 要点2.2 环境准备2.3 测试集群规划2.4 配置 HDFS-HA 集群2.5 启动 HDFS-HA 集群2.6 手动模拟...

原创 Cris 玩转大数据之分布式服务协调神器 ZooKeeper

Cris 的ZooKeeper学习日记Author：Cris文章目录Cris 的ZooKeeper学习日记Author：Cris1、安装 ZooKeeperⅠ. 解压Ⅱ、配置环境变量（可选）ⅲ、修改配置文件以及同步Ⅳ、ZooKeeper集群搭建以及集群脚本编写2、客户端操作 ZooKeeper①、命令行操作②、IDEA 客户端连接 ZooKeeper3. 监听服务器节点动态上下线案例1、安装...

原创 Cris 的Python笔记（十二）：面向对象其他细节语法

文章目录1、类属性，实例属性，实例方法，类方法，静态方法2、垃圾回收和特殊/魔术方法1、类属性，实例属性，实例方法，类方法，静态方法class A(object): ''' 类属性：定义并初始化在类中，可以通过类和实例去访问，但是只能通过类修改 实例可以使用同名的实例属性进行覆盖 ''' country = "China" d...

原创 Cris 的Python笔记（十一）：面向对象三大特征之多态

'''Python 的多态：一个对象可以以不同的形态去呈现，实现方式相比 Java更加简单因为动态语言的特点,Python 无法实现在代码指向前对方法参数进行检查，所以只要满足指定方法体的要求，任何数据类型的对象都可以作为该方法的实参'''class A: def __init__(self, name): self._name = name @prop...

原创 Cris 的Python笔记（十）：面向对象三大特征之继承

文章目录1、继承的特性2、Python 的多继承（了解）1、继承的特性# 通过继承可以使得子类很好的复用父类的代码，减少冗余代码，同时更加符合现实逻辑（编程就是对现实世界的抽象），符合 ocp 原则（open-change-principle）# object 是一切类的超类，所有对象都是object 的实例''' 方法的覆写：和Java 类似，子类可以对父类的方法进行覆写，子类...

原创 Cris 的Python笔记（九）：面向对象三大特征之封装

'''Python 面向对象三大特性之一：封装 Python 中对象的 属性通过getter和setter方法获取以及修改，通过类的构造方法为其赋值（Python中没有无参构造的概念） 类中构造方法定义的属性名如果不以__开头，则对象可以通过对象.属性名的方式来随意访问和修改，如果属性名以__开头，那么对象只能通过属性的getter和setter方法获取或者修改 ...

原创 Cris 的Python笔记（八）：Python 的面向对象基础

文章目录类和对象构造方法及简单练习类和对象# 自定义一个最简单的类:# class 类名（[父类名]）:# codesclass Student(): passprint(Student, type(Student)) # <class '__main__.Student'> <class 'type'># 生...