毕业于东北大学软件工程专业，现就职于字节跳动

原创 版本控制工具 Git

文章目录Git版本控制工具工作机制常用命令分支操作团队协作机制Git个人开发过渡到团队协作版本控制工具1、集中式版本控制工具又一个单一的集中管理的服务器，保存所有文件的修订版本，协同工作的人通过客户端连接到服务器，取出最新的文件或者提交更新好处：便于维护缺点：单点故障问题（中央服务器宕机了怎么办？）例子：SVN2、分布式版本控制工具自己的电脑：本地库；远程服务器：远程库客户端提取的不是最新版本的文件快照，而是把代码仓库clone下来，这样任何一个协同工作的文件发生故障，都可

原创 Yolov3+Pytorch+OpenCV 实现足球场上球员和足球的目标检测

文章目录前言项目实现结果项目结构核心代码项目黑盒化前言在阅读本项目前，推荐几个入门学习视频：Python基础：https://www.bilibili.com/video/BV1wD4y1o7AS?from=search&seid=15848583499505864776深度学习理论：https://www.bilibili.com/video/BV1JE411g7XF?from=search&seid=8763543874627896455Pytorch：https://ww

原创 图像经过卷积的图片尺寸

Image size after convolusion:where n is the width (or height) of the image,k is the kernel size,p is the padding,s is the stride.Image size after pooling:where n is the width (or height) of the image,f is the pooling size,s is the stride.

原创 【Redis】Linux Centos7 安装Redis及开机自启动

文章目录1 下载安装包2 解压安装包3 编译4 安装5 基础配置6 开机自启动1 下载安装包这里我们可以在官网下载安装包使用ftp工具导入到虚拟机中，也可以使用下面这个命令直接进行下载（这里下载了4.0.8版本进行安装）1、我们选择安装到～/Downloads目录下cd ~/Downloads2、下载安装包wget http://download.redis.io/releases/redis-4.0.8.tar.gz2 解压安装包tar -xvf redis-4.0.8.tar.gz

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第三章《项目管理过程组》

文章目录3 项目管理过程组3.1 项目管理过程组3.2 过程组映射到知识领域3.3 开发IT项目管理方法学3 项目管理过程组3.1 项目管理过程组1、过程（process）：针对某一特定结果的一系列活动2、项目过程组（project management process group）：启动活动、计划活动、执行活动、监控活动、收尾活动3、所有的项目和项目阶段都需要包括5个项目过程组，不能将项目过程和项目阶段等同起来4、5个项目过程组：启动过程（initiating process）：定义和批准

原创 东北大学软件项目管理与过程改进复习提纲（2020）——中英文对照表（按首字母排序）

文章目录ABCDEFGHIJKLNMOPQRSTUVWXYZAacquisition：获取，项目获取阶段（p42）Adaptive software development（ASD）：自适应软件开发（p44）agile software development：敏捷软件开发（p45）ACP：敏捷从业认证（p53）agreements：合同（p113）analogy approach：类比法（p146）activity：活动（p162）activity list：活动清单（p163）act

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第九章《项目人力资源管理》

文章目录9 项目人力资源管理9.1 人力资源管理的重要性9.2 什么是项目人力资源管理9.3 人员管理关键理论9.3.1 激励理论马斯洛的需求层次理论赫兹伯格的“激励 - 保健理论” p257麦克利兰的“获得 - 需求理论”麦格雷戈的X理论和Y理论9.3.2 塞姆海恩和威利蒙的影响力和权力理论9.3.3 柯维的提升效率理论9.3.4 情商9.3.5 领导力9.4 制订人力资源计划9.4.1 项目组织结构图9.4.2 责任分配矩阵9.4.3 人员配置管理计划和资源直方图9.5 组建项目团队9.5.1 人力资源

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第八章《项目质量管理》

文章目录8.1 项目质量管理的重要性8.2 什么是项目质量管理8.3 计划质量管理8.4 实施质量保证8.5 质量控制8.6 质量控制的工具和技术8.6.1 7种工具8.6.2 统计抽样8.6.3 六西格玛8.6.4 测试8.7 现代质量管理8.7.1 戴明及质量管理14要点8.7.2 朱兰和高层管理参与对质量的重要性8.7.3 克劳斯比和零缺陷追求8.7.4 石川馨的质量控制指南8.7.5 田口及其鲁棒设计方法8.7.6 费根鲍姆和工人质量责任8.7.7 马尔科姆.鲍德奇国家质量奖8.7.8 ISO标准8

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第七章《项目成本管理》

文章目录7.1 项目成本管理的重要性7.1.1 什么是成本7.1.2 什么是项目成本管理7.2 项目成本管理的基本原理7.3 计划成本管理7.4 成本估算7.4.1 成本估算的类型7.4.2 成本估算的工具和技术7.4.3 IT项目成本估算的典型问题7.4.4 实例7.5 成本预算7.6 成本控制7.6.1 挣值管理7.6.2 项目组合管理7.1 项目成本管理的重要性1、超支（overrun）：实际成本超过估计值的额外百分比或者美元金额7.1.1 什么是成本1、成本：为获取商品或服务而支付的货币量

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第六章《项目时间管理》

文章目录6.1 项目进度的重要性6.2 计划进度管理6.3 定义活动6.4 排序活动6.4.1 依赖6.4.2 网络图6.5 估算活动资源6.6 估算项目工期6.7 制定进度6.7.1 甘特图6.7.1 在甘特图上增加里程碑6.7.3 跟踪甘特图6.7.4 关键路径法6.7.5 计算关键路径6.7.6 抓住关键路径6.7.7 使用关键路径分析来保持进度均衡6.7.8 使用关键路径缩短项目的进度6.7.9 更新关键路径数据的重要性6.7.10 关键链调度6.7.11 PERT6.7.12 敏捷和时间管理6.8

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第五章《项目范围管理》

文章目录5 项目范围管理5.1 什么是项目范围管理5.2 范围管理计划范围管理计划需求管理计划5.3 收集需求5.4 定义范围5.5 创建工作分解结构WBS制定WBS的方法WBS字典创建WBS及WBS字典的建议5.6 确认范围5.7 控制范围5.7.1 对于改善用户输入的建议5.7.2 对于减少不完善和不断变化的需求的建议5 项目范围管理5.1 什么是项目范围管理1、范围（scope）：开发项目产品所涉及的所有工作和用来开展工作的所有过程2、可交付成果（deliverable）：作为项目的一部分而生

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第十一章《项目风险管理》

文章目录整体结构1 项目风险管理的重要性2 计划风险管理3 IT项目风险的一般来源4 识别风险4.1 对识别风险的建议4.2 风险登记表5 定性分析5.1 概率/影响矩阵计算风险因子5.2 十大风险事项跟踪6 定量分析6.1 决策树和预期货币值6.2 模拟6.3 灵敏度分析7 风险响应计划8 控制风险整体结构1 项目风险管理的重要性1、项目风险管理是关于识别、分析、响应项目全生命周期内的风险，并最好的满足项目目标的科学与艺术2、管理项目风险需要专用的、有才华的专业人士。PMI引进了PMI风险管理专

原创 【Spark】Spark的机器学习算法库——Spark MLilb

文章目录1 导入1.1 基本概念1.2 spark.mlib和spark.ml2 机器学习工作流(ML Pipelines)2.1 基本概念2.2 工作流的构建构建SparkSession对象引入要包含的包构建训练数据集定义Pipeline中的各个工作流阶段PipelineStage创建一个Pipeline构建测试数据预测1 导入1.1 基本概念MLlib是Spark的机器学习（Machine Learning）库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和

原创 【FIume】海量日志采集系统——Flume基础学习

文章目录1 概述1.1 定义1.2 基础架构2 快速入门2.1 监控端口数据需求conf启动2.2 实时监控单个追加文件需求实验步骤2.3 实时监控目录下多个新文件需求2.4 实时监控目录下的多个追加文件需求3 Flume与Kafka的整合1 概述1.1 定义FIume是一个高可用的，高可靠的，分布式的海量日志采集、聚合、传输系统，基于流式架构，灵活简单。Flume的最主要的作用：实时读取服务器本地磁盘的数据，写入hdfs1.2 基础架构Flume主要由3个重要的组件构成：Source：

原创 【Spark】Spark Streaming编程实践（简单易懂 快速上手）

文章目录知识储备1 基本概念2 WordCount入门3 DStream的创建3.1 RDD队列3.1.1 用法3.1.2 案例3.2 自定义数据源3.3 Kafka数据源3.3.1 版本3.3.2 Kafka 0-10 Direct3.4 DStream转换3.4.1 无状态转化操作Transformjoin3.4.2 有状态转化操作windowOperations知识储备1、数据处理的方式：流式数据处理（Streaming）批量数据处理（batch）2、数据处理延迟的长短实时数据处理：

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第十章《项目沟通管理》

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第四章《项目综合管理》

文章目录整体结构1 什么是项目综合管理2 战略计划与项目选择2.1 战略计划2.2 识别潜在的项目2.3 将IT与业务战略相结合3 选择项目的方法3.1 聚焦于广泛的组织需求3.2 IT项目分类3.3 财务分析3.3.1 NPV3.3.2 资金回报率3.3.3 投资回收期分析3.4 加权评分模型3.5 平衡计分卡4 制定项目章程5 创建项目管理计划5.1 项目管理计划的内容5.2 根据指南来创建项目管理计划6 指导和管理项目实施6.1 协调计划和执行6.2 提供强大领导力和支持性的组织文化6.3 利用产品、

原创 【Spark】SparkSQL编程实践

文章目录1 知识准备1.1 Shark1.2 Spark SQL设计1.3 DataFrame与RDD的区别2 DataFrame的创建2.1 从JSON文件中读取数据生成DataFrame2.1 从RDD转换创建DataFrame（txt文件）2.1.1 反射机制2.1.2 使用编程方式定义RDD模式3 DataFrame数据保存3.1 第一种保存方法3.2 第二种保存方法4 Parquet文件与JDBC数据库读写4.1 Parquet文件读写操作4.2 JDBC数据库读写操作4.2.1 准备4.2.2

原创 毛中特知识框架（自用）

文章目录2 新民主主义革命3 社会主义改造理论2 新民主主义革命3 社会主义改造理论

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第三章

文章目录1 项目管理过程组2 过程组映射到知识领域3 开发IT项目管理方法学1 项目管理过程组1、过程（process）：针对某一特定结果的一系列行动2、项目管理过程组（project management process group）：包括启动活动、计划活动、执行活动、监控活动、收尾活动3、启动活动（initating process）：定义和批准项目或者项目阶段4、计划活动（planning process）：包括制定和维护一个可执行的机会，，以保证项目满足组织的要求5、执行活动（execu

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第二章

文章目录整体结构1 项目管理的系统观1.1 什么是系统方法1.2 系统管理的三球模型2 了解组织2.1 4个框架2.2 组织结构2.3 组织文化3 干系人管理3.1 高层管理的承诺3.2 信息技术对组织承诺的需求3.3 组织对标准的需求4 项目阶段和项目生命周期4.1 产品生命周期4.2 项目阶段和管理评审的重要性5 IT项目环境5.1 IT项目本质5.2 IT项目团队成员的特征5.3 多样性的技术6 影响IT项目管理的趋势6.1 全球化6.2 外包6.3 虚拟团队6.4 敏捷项目管理6.5 敏捷软件开发宣

原创 【Spark】RDD入门编程实践（完整版）

文章目录1 RDD创建1.1 从文件系统中加载数据1.2 通过并行集合2 RDD的操作2.1 转换2.1.1 filter2.1.2 map2.1.3 flatMap2.1.4 groupByKey2.1.5 reduceByKey2.2 行动2.2.1 count2.2.2 collect2.2.3 first2.2.4 take(n)2.2.5 reduce(func)2.2.6 foreach(func)2.2.7 惰性机制2.4 持久化2.4.1 persist()2.5 分区3 键值对RDD应用编

原创 东北大学软件项目管理与过程改进复习提纲（2020）——第一章

文章目录第一章 总论1.1 引言1.2 什么是项目1.2.1 IT 项目1.2.2 项目属性1.2.3 项目约束1.3 什么是项目管理1.3.1 项目干系人1.3.2 项目管理知识领域1.3.3 项目管理工具和技术1.3.4 项目成功1.4 项目群和项目组合管理1.4.1 项目群1.4.2 项目组合管理1.5 项目经理的作用1.5.1 项目经理的工作描述1.5.2 项目经理应当具备的技能1.6 项目管理专业第一章 总论1.1 引言1、项目管理带来的好处更好的控制财力、物力、财力和人力资源改进客户

原创 【Scala】函数式编程高级部分

文章目录1 作为值的函数2 匿名函数3 高阶函数4 常见函数4.1 filter4.2 map4.3 flatMap4.4 reduce4.5 dropWhile4.6 sortwith4.7 groupBy4.8 partition1 作为值的函数在Scala中，函数是头等公民，就和数一样，可以在变量中存放函数在Scala中，有一个约定，就是将函数赋值给变量时，必须在函数后面加上空格和下划线/** * 函数可以作为值传递给另一个变量，或者另一个函数， * 语法特点：必须要在函数后面加上

原创 【Scala】面向对象基础

文章目录1 类1.1 构造器1.2 内部类2 对象2.1 Object对象2.2 单例对象2.3 伴生对象1 类1.1 构造器1、Scala中和类名相同的方法并不是构造器2、通过分析，scala的其中一个构造器就在类名后面，因为是无参的，所以默认省略的（），也就是参数列表方法体：scala类的构造器函数体和类的定义交织在一起可不可以拥有其他的构造器：用this关键字代替类名进行构造3、归纳scala的构造器有两种，一种是在类名后面定义的（主构造器），一种是在类中使用this关键字定义（

原创 【Scala】基本数据结构（数组、列表、元组、集、映射、迭代器）

文章目录1 数组（Array）1.1 创建数组1.2 获取索引的值1.3 修改指定索引的值1.4 判断元素是否存在1.5 长度1.6 遍历2 可变数组（ArrayBuffer）2.1 创建2.2 增加元素2.3 获取指定索引的元素2.4 修改指定索引的元素2.5 删除指定2.6 判断2.7 长度2.8 定长数组和可变数组之间的转换2.9 遍历2.10 求和、最值、排序3 映射（map）3.1 不可变Map3.1.1 获取值3.1.2 修改 增加3.2 可变Map3.2.1 添加元素3.2.2 遍历1 数

原创 【Scala】函数的定义、递归、惰性函数、异常处理

Scala学习路线：Scala基础简介Scala流程控制Scala函数式编程基础Scala面向对象Scala函数式编程高级 文章目录1 几个重要的概念2 函数的定义3 函数的递归3.1 斐波拉契数1 几个重要的概念在Scala中，方法和函数几乎可以等同，函数的使用方式更加的灵活多样方法转函数：object TestScala { def main(args: Array[String]): Unit = { //使用方法 val dog = new Dog

原创 【Scala】Scala的控制结构（分支、循环）

Scala基础简介Scala流程控制Scala函数方法Scala集合体系Scala面向对象Scala函数式编程 文章目录11

原创 【Scala】Scala语言基础（IDEA创建项目、基本数据类型、range、键盘输入语句）

Scala基础简介Scala流程控制Scala函数方法Scala集合体系Scala面向对象Scala函数式编程 文章目录1 简介2 特点3 函数式编程3.1 特点3.2 优势3.3 总结3 为什么要学习Scala？1 简介Scala是一门多范式的编程语言Scala运行在Java虚拟机上，并兼容现有的Java程序Scala源代码被编译成Java字节码，所以它可以运行在JVM之上，并可以调用现有的Java类库Scala函数式编程更适合用于Map/Reduce和大数据模型，它摒弃了数.

原创 【Scala】Linux环境下Scala的安装与配置

文章目录1 linux虚拟机下Scala环境安装配置1.1 安装java环境1.2 安装Scala1 linux虚拟机下Scala环境安装配置1.1 安装java环境Java 环境可选择Oracle 的JDK或者OpenJDK，通常一般Linux系统默认安装的基本是OpenJDK，如CentOS7.x就默认安装了OpenJDK 1.8。这里不再赘述，可自行百度安装配置java环境1.2 安装Scala访问Scala官网，下载Scala安装包，登录官网后会自动识别操作系统类型，如果是Linux操作

原创 linux总结

1、查看磁盘情况df -h 2、查看各文件目录占比du -h --max-depth=1

原创 【PyTorch】MacOS下PyTorch的开发环境安装

文章目录1 PyTorch生态2 PyTorch能干什么3 PyTorch的开发环境安装1 PyTorch生态2 PyTorch能干什么GPU加速自动求导常用网络层：nn.Linearnn. Conv2dnn. LSTMnn. ReLunn Sigmoidnn. Softmaxnn crossentropyLossnn.MSE3 PyTorch的开发环境安装...

原创 【数据采集】python爬虫进阶学习——聚焦爬虫（纯干货）

本篇文章涉及到数据解析方面的知识（聚焦爬虫），主要方式包括正则、bs4、xpath。在看这篇文章之前，建议读者有一定的基础知识，零基础的同学请[移步这里](https://blog.csdn.net/qq_45650899/article/details/110448722)以下是本篇文章正文内容，建议使用PyCharm等工具进行实践...

原创 【数据采集】半小时快速上手python爬虫（纯干货）

在进行大数据的项目时，涉及到数据的采集工作，爬虫就是获取数据集的一个工具，本文记录了笔者学习爬虫的过程和总结，案例建议从第一个开始看。以下是本篇文章正文内容，建议使用PyCharm等工具进行实践文章目录1 准备工作1.1 python的编码规范1.2 引入爬虫所需要的模块2 requests模块2.1 介绍2.2 编码的四个流程2.3 第一站：html页面爬取2.4 第二战：简易的网页采集器UA伪装：User-Agent2.5 第三战：破解百度翻译2.6 第四战：爬取豆瓣电影分类排行榜中电影详细数.

原创 启动HiveServer2，实现IDEA远程访问

1、进入hive目录cd /usr/local/hive2、开启hiveserver2./bin/hive --service hiveserver23、打开beelinebeeline4、连接!connect jdbc:hive2://brace:100005、在idea上连接hive数据库进行操作

原创 【HBase】HBase常用的shell操作

文章目录1 DDL创建表列出所有表获得表的描述删除一个列族查看表是否存在删除一个表DML插入记录全表扫描获得数据更新一条记录删除查询表中有多少行1 DDL创建表create 'table1', 'tab1_id', 'tab1_add', 'tab1_info'列出所有表list获得表的描述describe "table1"删除一个列族disable 'table1'alter 'table1', {NAME=>'tab1_add', METHOD=>'delete'

原创 【Sqoop】Hive、HBase、MySQL之间上传导出文件命令

文章目录1 导入import2 导出export3 脚本打包1 导入importcd /opt/module/sqoop1、全部数据导入传输mysql中company数据库的staff表的所有数据bin/sqoop import \--connect jdbc:mysql://brace:3306/company \--username root \--password zhangtao \ --table staff \--target-dir /company \ --delet

原创 【Hue】集成化大数据可视化软件

文章目录1 Hue是什么2 Hue能做什么3 Hue的架构1 Hue是什么HUE = Hadoop User ExperienceHue是一个开源的Hadoop UI系统，通过使用Hue，可以在浏览器端的Web控制台上于Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等2 Hue能做什么1、访问HDFS和文件浏览2、通过web调试和开发hive以及数据结果展示3、查询solr和结果展示，报表生成

原创 【Hive】Hive内置函数和自定义函数

Hive系列学习笔记一、数据仓库与Hive二、Hive的基本概念和安装三、常用Hive操作（对数据库、表的操作）四、常用Hive操作（HQL查询语句）五、Hive的shell参数六、Hive的内置函数和自定义函数文章目录1 内置函数1.1 常用内置函数2 自定义函数2.1 概述2.2 UDF开发实例2.2.1 创建maven工程2.2.2 开发java类集成UDF2.2.3 打包上传2.2.4 添加jar包2.2.5 设置函数与自定义函数关联2.2.6 使用自定义函数1 内置函数具体

原创 【Hive】Hive的shell参数

文章目录1 Hive 命令行2 Hive参数配置方式1 Hive 命令行语法结构bin/hive [-hiveconf x=y]*[<-i filename>]*[<-f filename>|<-e query-string>][-S]说明1、-i 从文件初始化HQL2、-e 从命令行执行指定的HQLbin/hive -e 'show databases'3、-f 执行HQL脚本4、-v 输出执行的HQL语句到控制台5、-p 指定服务器的端口号6