- 博客(30)
- 收藏
- 关注
RSS订阅原创 【YOLOV5-6.1.x 源码注释】整体项目文件导航
这个项目是github的开源项目，YOLOV5：https://github.com/ultralytics/yolov5，目前已经有29.4k个Star 和 10.5k 个Folk了，非常的火。下面我将会逐个的文件注释这个项目中的所有代码。注释版全部项目文件已上传至GitHub:https://github.com/yangxin6/yolov5-6.1-annotations............
2022-08-03 09:24:07
603
1
原创 GPS日志分析案例
GPS日志分析案例准备数据源hive 存储数据准备数据源GeoLife GPS Trajectorieshive 存储数据
2021-04-28 16:11:34
857
1
原创 Hadoop日志分析系统
Hadoop日志分析系统架构环境搭建nginx安装conf 配置flume安装配置环境变量flume-env.sh架构环境搭建nginx下载地址安装yum install gcc openssl-devel pcre-devel zlib-devel -ytar -zxvf tengine-2.3.2.tar.gzcd tengine-2.3.2./configure --prefix=/home/hdfs/env/nginxmake && make install
2021-04-28 16:11:20
640
原创 HBase 搭建
HBase 分布式搭建节点节点nn dn zk mast bk-mast reg-sernndnzkmastbk-mastreg-sernode1✔️✔️✔️✔️✔️node2✔️✔️✔️✔️✔️node3✔️✔️✔️node3✔️
2021-02-02 10:48:55
91
原创 Hive 高可用搭建
Hive 高可用搭建节点配置文件hive-site.xml (node2)hive-site.xml (node3)节点NN-1NN-2DNZKZKFCJNNRSNMHiveserver2beelinenode1✔️✔️✔️✔️✔️node2✔️✔️✔️✔️✔️✔️✔️✔️node3✔️✔️✔️✔️✔️node4✔️✔️✔️配置文件hive-site.xml (
2021-02-01 20:26:24
199
原创 多类分类
多类分类使用逻辑回归来识别手写数字（0到9）import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy.io import loadmatdata = loadmat('ex3data1.mat')data{'__header__': b'MATLAB 5.0 MAT-file, Platform: GLNXA64, Created on: Sun Oct 16 13:09:09 2011'
2021-02-01 11:00:52
337
原创 Hive语法
HiveDDL创建表创建外部表DML导入数据查询删除表DDL官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL创建表create table psn(id int,name string,hobby array<string>,address map<string, string>)row format delimitedfields terminated by ','
2021-01-31 07:46:32
111
原创 逻辑回归
逻辑回归import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsplt.style.use('fivethirtyeight') #样式美化import matplotlib.pyplot as pltfrom sklearn.metrics import classification_report#这个包是评价报告准备数据data = pd.read_csv('ex
2021-01-30 15:22:43
203
原创 Hive 搭建
Hive 部署安装 mysql修改权限单用户模式配置环境变量配置文件hive-site.xml将 mysql 驱动包 放入 lib 目录中运行 hive测试多用户模式将 node2 的 hive 拷贝到 node3、node4配置 node3、node4 的环境变量node3 配置文件修改hive-site.xmlnode4 配置文件修改hive-site.xml启动node3node4测试安装 mysql在 node1 安装 mysqlyum install mysql-serverservice
2021-01-29 21:57:34
95
原创 Hive SQL
Hive SQL数据类型primitive_typeprimitive_typeDDLDML数据类型primitive_typearray_typemap_typestruct_typeprimitive_typeTINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGDDL官网传送门DML官网传送门
2021-01-22 15:48:30
61
原创 yarn 集群搭建
yarn 集群搭建集群节点分配方案配置文件mapred-site.xmlyarn-site.xml将配置文件分发到 node2、node3启动步骤基于HA 集群搭建HA集群搭建集群节点分配方案NN-1NN-2DNZKZKFCJNNRSNMnode1✔️✔️✔️✔️✔️node2✔️✔️✔️✔️✔️✔️✔️node3✔️✔️✔️✔️配置文件mapred-site.xml<configurati
2021-01-22 14:48:00
169
原创 Hive 简介
HiveHive 简介HIve 架构OperatorANLTER 词法语法分析工具解析 hql搭建模式1.本地模式2.单用户模式3.远程服务器模式Hive 简介Hive：数据仓库。（分析、储存、录入历史数据，做内部分析使用。）Hive：解释器，编译器，优化器 等。Hive：运行时，元数据存储在关系型数据库里面。HIve 架构用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至H
2021-01-22 14:26:19
195
原创 线性回归
线性回归线性回归单变量线性回归batch gradient decent（批量梯度下降）多变量线性回归normal equation（正规方程）线性回归单变量线性回归导入需要使用的包import numpy as npimport pandas as pdimport matplotlib.pyplot as plt导入数据集。提醒大家：一定要把数据文件ex1data1.txt放在和程序同一个文件夹里，否则需要使用绝对路径访问文件path = 'ex1data1.txt'data =
2021-01-20 17:57:18
119
原创 WordCount程序实现（idea）
WordCount程序实现（idea）开发环境pom.xml文件WordCountMyMapperMyReducer运行运行创建文件夹新建单词统计文件上传文件执行 WordCount 工作查看执行结果开发环境JDK 1.8IDEA 2020.3.1HADOOP 2.10.1pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
2021-01-19 12:46:56
285
原创 MapReduce
MapReduceMapReduce工作原理mapreduceMapReduce分布式数据处理工具、分布式计算处理框架MR 主要思想：分久必合，合久必分。MR 架构 ---- kv 格式（key + value）工作原理map假设 计算的数据都在 hdfs 上，从 hdfs 获取数据进行计算 – 寻找需要计算的位置map 会将 hdfs 上的大文件进行相应的切割 ---- 切割成一个个的 split 切片（默认大小与 block 大小一致）---- block = map = mapt
2021-01-10 19:19:07
123
1
原创 HA 集群搭建
HA 集群搭建集群分配方案配置hdfs-site.xml集群分配方案NN-1NN-2DNZKZKFCJNNnode1✔️✔️✔️node2✔️✔️✔️✔️✔️node3✔️✔️✔️node4✔️✔️HA 状态下：当处于 active 状态的节点挂掉之后，standby 状态的节点自动接替任务，转为 active 状态，对外提供服务。当挂掉的节点重新恢复之后，他不会再恢复成 active 状态，保持
2021-01-06 22:23:57
274
原创 联邦
联邦联邦特点联邦联邦 ---- 解决性能瓶颈 ---- 每台服务器都是有性能极限的。正常情况下，每一个集群都只有一个 NN 处于 active 状态，只会有一个 namespace。特点NN 都处于 active 状态，相互隔离无通信。多个 NN 通过 clusterID 建立连接。当元数据信息一个 NN 已经无法存储了，超过了他的一个上限，即使用联邦。我们不使用联邦的原因 ---- 极小的概率会造成 NN 存储不了。联邦中，每一个 NN 自成个体，也就是说 namenode 是单独的，他
2021-01-06 16:29:24
75
原创 高可用集群 HA（原理）
高可用集群 HA单点故障集群信息zookeeper单点故障为了解决单点故障，采用两个 NN 进行管理，但是两个 NN 不能同时处于活跃状态。一个 active 一个 standby （相当于 班长（active） 副班长（standby））。集群信息动态信息：DN 向 NN 发送的 心跳信息 ---- DN 会向两个 NN 同时发送信息。静态信息：客户端产生的信息，即 元数据（block数，块大小，偏移量等等）。静态信息同步（client 只会服务于一个 NN）需要一个第三者来同步 两个
2021-01-06 16:12:31
198
原创 HDFS 集群 搭建
HDFS 集群安装基础环境hadoop 2.10.1jdk1.8分发集群配置免密登陆添加用户更改hostnamehosts配置免密（三台重复）Hadoop安装配置 `etc/hadoop/hadoop-env.sh `配置 `etc/hadoop/core-site.xml `配置 `etc/hadoop/hdfs-site.xml `配置 `etc/hadoop/mapred-site.xml `配置 `etc/hadoop/yarn-site.xml`配置环境变量格式化文件系统分发Python安装Had
2021-01-05 12:00:09
203
原创 Hadoop生态圈（原理）
Hadoop生态圈（理论）HDFSblock读写操作写操作具体实现读操作备份机制任务提交方式如何备份Pipeline（写操作+备份机制）HDFS分布式文件系统 ---- 存储block大文件切割成块（block），分散存储在集群中。单一文件的 block 块大小一致，不同文件可以不一样。（最后一块128M没存满，还是128M）为了安全----机制（副本机制）。追加数据 ---- append （只在尾部追加数据）。只支持一次写入多次读取，同一时刻只有一个写入者。读写操作写操作na
2021-01-04 22:34:08
216
原创 约瑟夫环（循环链表+数学归纳）
约瑟夫环欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编
2020-11-21 18:41:10
335
原创 （三）数组
数组定义随机访问低效的“插入”和“删除”插入删除数组越界容器更适合使用数组的地方：数组下标从0开始小结思考JVM 标记清楚垃圾回收算法二维数组内存寻址死循环问题定义数组（Array）是一种线性表数据结构。它用一组连续的内存空间，来存储一组具有相同类型的数据。线性表数组、链表、队列、栈非线性表二叉树、堆、图随机访问连续的内存空间和相同类型的数据。正是因为这两个限制，它才有了一个堪称“杀手锏”的特性：“随机访问”。但有利就有弊，这两个限制也让数组的很多操作变得非常低效，比如要想在数组中删除
2020-11-05 22:16:50
146
原创 类的三大特性（一）
类与对象一、继承1. 基本2. 继承3. 派生4. 经典类与新式类5. 多继承属性查找6. super() 继承查找7. 组合二、封装1. 封装基本介绍在外部访问隐藏属性父类不让子类覆盖自己的方法2. Property方法3. 伪装属性的修改与删除三、多态多肽与多态性鸭子类型（Duck Type）类的绑定方法一、继承1. 基本私有变量 self.name直接定义 属于类的方法 相当于 static2. 继承属性查找 就近原则3. 派生重写，以自己的为准使用 父类方法 super().4
2020-11-04 15:29:38
2710
原创 （二）复杂度分析（下）
复杂度分析（下）最好情况时间复杂度最坏情况时间复杂度平均情况时间复杂度均摊时间复杂度在一个无序的数组（array）中，查找变量 x 出现的位置。如果没有找到，就返回 -1// n表示数组array的长度int find(int[] array, int n, int x) { int i = 0; int pos = -1; for (; i < n; ++i) { if (array[i] == x) pos = i; } return pos;}优化之后
2020-11-04 15:03:29
73
原创 python基础简单回顾
python基础简单回顾globalnonlocal函数对象闭包函数装饰器无参装饰器无参装饰器简单实现装饰器语法糖用户认证装饰器多个装饰器叠加有参装饰器装饰器补充迭代器可迭代对象迭代器对象优缺点优点缺点生成器yieldrangeyield表达式三元表达式匿名函数使用规则：匿名函数与 max, min, sorted 联用匿名函数与map, reduce, filter联用内置函数formatf-strings填充与对齐float精度调整进制转换绝对值逻辑判断bool值判断bytes类型构造判断对象是否可调用
2020-11-03 16:11:12
197
原创 （一）时间空间复杂度分析（上）
时间空间复杂度分析时间空间复杂度分析时间复杂度分析复杂度量级NP 问题常见的多项式时间复杂度O(1)O(logn)、O(nlogin)O(m+n)、O(m*n)空间复杂度分析小结时间空间复杂度分析事后统计法弊端：测试结果非常依赖测试环境测试结果受数据规模影响很大时间复杂度（渐进时间复杂度）：表示代码执行时间岁数据规模增长的变化趋势时间复杂度分析只关注循环执行次数最多的一段代码加法法则：总复杂度等于量级最大的那段代码的复杂度注：常量可以忽略乘法法则：嵌套代码的复杂度等于嵌套内
2020-11-03 15:55:40
277
原创 虚拟机Centos配置
虚拟机Centos配置网络配置ip配置域名配置网络映射配置功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入网络配置i...
2019-04-24 22:07:53
77
原创 jdk安装和Eclipse安装使用
Java基础java安装下载安装jdk配置环境变量eclipsejava安装下载安装jdk这里附上jdk下载地址java官网选择需要的版本，我这里选择的是 jdk11选择 Accept License Agreement 同意协议选择windows下载完成后点击开始安装配置环境变量第一步：我们需要将光标放在“计算机”上面，然后右击我们的鼠标，选择“属性”，在属性下...
2019-02-27 23:30:17
1325
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人