- 博客(204)
- 收藏
- 关注
RSS订阅
原创 Movle博客文章汇总
一.Hadoop大数据学习之Hadoop基础介绍Hadoop环境搭建-本地模式Hadoop环境搭建-全分布模式HDFS基础概念以及HDFS命令行操作Hadoop之通过API操作HDFSHDFS的数据流HDFS之NameNode工作机制HDFS之DataNode工作机制HDFS的其他功能MapReduce的基本概念MapReduce框架原理Hadoop序列化Hadoop之YarnHDFS 之HA高可用概述HDFS-HA高可用集群配置Yarn-HA配置Hadoop之数据压缩H
2020-05-17 22:47:03
439
原创 FFmpeg-scrpit
1.将当前目录下的flv视频文件转换为mp4格式，并删除原文件#! usr/bin/env bashfor file in $(ls *flv)do ffmpeg -i $file -c copy ${file%.flv*}.mp4# echo ${file%.mp4*}donerm -rf *flv2.将原视频加速为2倍速ffmpeg -i input.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -
2021-05-06 00:03:28
245
原创 编程开发常用命令
1.redis(1)启动：cd /usr/local/redis./bin/redis-server ./redis.conf (2)查看ps -ef | grep redis(3)启动客户端：cd /usr/local/redis./bin/redis-cli./bin/redis-cli -h 192.168.31.141(4)插入数据:lpush uid:1 1129:2.0 1172:4.0 1263:2.0 1287:2.0 1293:2.0 1339:3.5 1
2020-11-10 09:16:43
1205
原创 Mac安装Redis
1.查询可安装的版本brew search redis2.安装redisbrew install redisbrew install redis@3.23.卸载redisbrew uninstall redis4.启动redis服务brew services start redis5.关闭redis服务brew services stop redis6.重启redis服务brew service restart redis7.通过bin目录启动cd /usr/loc
2020-10-15 16:34:02
213
原创 ffmpeg合并视频
1.方法一：FFmpeg concat协议ffmpeg -i "concat:input1.mp4|input2.mp4|input3.mp4" -c copy output.mp42.方法二：FFmpeg concat分离器新建文件file.txtfile 'input1.mp4'file 'input2.mp4'file 'input3.mp4'然后ffmpeg -f concat -i file.txt -c copy output.mp4...
2020-10-15 16:32:37
356
原创 ffmpeg参数
1.通用选项-L license-h 帮助-fromats 显示可用的格式，编解码的，协议的...-f fmt 强迫采用格式fmt-I filename 输入文件-y 覆盖输出文件-t duration 设置纪录时间 hh:mm:ss[.xxx]格式的记录时间也支持-ss position 搜索到指定的时间 [-]hh:mm:ss[.xxx]的格式也支持-title string 设置标题-author string 设置作者-copyright string 设置版权-commen
2020-10-15 16:32:06
486
原创 ffmpeg常用命令
一.基础概念1.FFmpeg 的命令行参数非常多，可以分成五个部分。ffmpeg {1} {2} -i {3} {4} {5}上面命令中，五个部分的参数依次如下:全局参数输入文件参数输入文件输出文件参数输出文件2.参数太多的时候，为了便于查看，ffmpeg 命令可以写成多行。ffmpeg \[全局参数] \[输入文件参数] \-i [输入文件] \[输出文件参数] \[输出文件]下面是一个例子。ffmpeg \-y \ # 全局参数-c:a libfdk_aac
2020-10-15 16:28:57
514
原创 数据结构与算法(8)-排序
目录一.排序的基本概念与分类 1.定义 2.排序的稳定性 3.内排序与外排序二.冒泡排序 1.冒泡排序的基本思想 2.冒泡排序算法 3.冒泡排序代码实现 4.冒泡排序优化.
2020-06-12 11:24:51
227
原创 数据结构与算法(7)-查找
目录一.查找概论 1.概念： 2.查找表按照操作方式来分有两大种：静态查找表和动态查找表 3.面向查找操作的数据结构称为查找结构二.顺序表查找 1.顺序查找(Sequential Search):又叫线性查找，是最基本的查找技术 2.顺序表查找算法： &.
2020-06-12 11:23:33
1876
原创 数据结构与算法(6)-图
一.图的定义1.定义：(1)图(Graph)是由顶点的有穷非空集合和顶点之间边的集合组成，通常表示为：G(V,E)，其中，G表示一个图，V是图G中顶点的集合，E是图G中边的集合(2)图按照有无方向分为无向图和有向图。无向图由顶点和边构成，有向图由顶点和弧构成。弧有弧尾和弧头之分(3)图按照边或弧的多少分稀疏图和稠密图。如果任意两个顶点之间都存在边叫完全图，有向的叫有向完全图。若无重复的边或顶点到自身的边则叫简单图(4)图中顶点之间有邻接点、依附的概念。无向图顶点的边数叫做度，有向图顶点分为入度和出
2020-06-12 11:08:47
286
原创 数据结构与算法(5)-树
目录一.树的定义 1.定义： 2.结点的分类 3.结点间的关系 4.树的其他相关概念：二.树的抽象数据类型三.树的存储结构 1.双亲表示法 2.孩子表示法 3.孩子兄弟.
2020-06-12 11:05:57
295
原创 数据结构与算法(4)-栈与队列
目录一.栈的定义 1.栈的定义 2.进栈出栈变化形式二.栈的抽象数据类型三.栈的顺序存储结构及实现 1.栈的顺序存储结构 2.栈的顺序存储结构–进栈操作 3.栈的顺序存储结构–出栈操作四.两栈共享存储空间五.栈的链式存储结构  .
2020-06-12 11:00:11
140
原创 数据结构与算法(3)-线性表
目录一.线性表的定义二.线性表的顺序存储结构 1.顺序存储的定义： 2.顺序存储方式： 3.数组长度与线性表长度的区别 4.地址计算方法三.顺序存储结构的插入与删除 1.获得元素操作 2.插入操作 &nb.
2020-06-12 10:54:38
281
原创 数据结构与算法(2)-算法
目录一.算法的定义二.算法的特性 1.输入输出 2.有穷性 3.确定性 4.可行性三.算法设计的要求 1.正确性 2.可读性 3.健壮性 &nb.
2020-06-12 10:48:53
731
原创 数据结构与算法(1)-数据结构绪论
目录一.基本概念和术语 1.数据 2.数据元素 3.数据项 4.数据对象 5.数据结构二.逻辑结构与物理结构 1.逻辑结构 2.物理结构 &nbs.
2020-06-12 10:44:42
267
原创 百度网盘网页倍速播放
1.情况描述：有时候在网上找到的学习资源，是以百度云的形式，因为很多都是视频教程，所以就想倍速播放，虽然用手机播放可以倍速播放，但是总觉得屏幕太小了，但是百度网盘网页版又没有倍速播放的功能2.解决方案：按f12打开开发者工具，点击console控制台，输入下面的代码，点击回车。其中最后的2表示2倍速播放：videojs.getPlayers("video-player").html5player.tech_.setPlaybackRate(2)...
2020-06-12 10:39:51
865
原创 记录12306项目抢票成功的经历:CentOS7环境
过年了，我们每个人都会回家过年，说到过年就不得不提抢票，毕竟过年回家的票都是一票难求，而以前都是靠购买加速包来提速抢票，前几天在公众号看到github上一个很火的12306抢票项目，而且我自己本职也是一个辣鸡程序猿，所以就想试试能不能把这个项目clone下来，调试并跑起来，于是我抱着试一试的态度，花了一些时间，安装虚拟机，克隆代码到本地，安装环境，调试bug，最终把它跑起来了，并且成功的买到了票，所以就想把这个过程记录下来，虽然项目不是自己写的，而且自己本职也是java大数据方向，python也不是很懂，.
2020-06-12 10:39:28
579
原创 利用FRP实现内网穿透
情况：自己有两台电脑，一台16G内存的Dell，和一台8G内存的MacBook Pro，因为自己学的是大数据开发，所以需要搭建大数据集群，因此在MacBook Pro开发的话内存太小了，既要用虚拟机搭建大数据集群，又要用IDEA开发的话，内存是肯定不够的，所以之前是在Dell上面创建虚拟机，搭建大数据集群，然后再在MacBook Pro上开发，因为虚拟机使用的桥接法上网，Macbook Pro和Dell又在同一个局域网里，所以还可以，但是如果需要离开，区别的地方的话，自己就需要带两台电脑了，太沉了，所以.
2020-06-12 10:33:34
714
原创 ZooKeeper实战：分布式秒杀
1.添加所需依赖：pom.xml <!-- zookeeper所需依赖 --> <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>4.0.0</version
2020-06-12 10:29:27
393
原创 ElasticSearch实战：使用java连接elasticsearch集群，并进行相关操作
1.需求：使用java连接elasticsearch集群，并进行相关操作2.代码：(1)pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencies> <dependency> &l
2020-06-12 10:24:42
2399
原创 CentOS提示符＞如何退出
1.情况：在linux字符界面下，不小心输入了[，结果命令提示符变成了>，然后在q、exit、ctrl+c、ctrl+z都回不去了，该如何解决？2.解决方法：ctrl+c和ctrl+d都可以退出。
2020-06-12 10:21:58
3359
原创 VMware 搭建CentOS7
1.文件->新建虚拟机2.选择自定义，点击下一步3.点击下一步4.点击“稍后安装操作系统”，点击下一步5.选择“Linux(L)”,版本选择”CentOS 7 64位“，点击下一步6.虚拟机名称填自己所想要命名的名字，位置最好不要放在c盘，点击下一步7.点击下一步(按需求调整参数)8.点击下一步(按需求调整参数)9.选择“使用网络地址转换(NAT)”，点击下一步10.选择“LSI Logic(L)”，点击下一步11.选择“SCSI(S)”，点击下一步12.选择
2020-06-12 08:10:45
281
原创 Error: listen EADDRINUSE: address already in use :::4000
1.错误信息：Error: listen EADDRINUSE: address already in use :::40002.问题描述：在hexo博客本地启动的时候，之前启动过，所以4000端口被占用3.解决方法：在控制台输入sudo lsof -i:端口号查看被占用进程的pid，再输入sudo kill -9 pid即可杀死进程...
2020-06-12 08:02:46
1845
原创 Mac环境如何更新Nodejs
1.前提条件安装npm2.解决办法:(1)使用npm安装n模块,n模块是专门用来管理nodejs版本的sudo npm install -g n(2)升级nodejs升级到最新版：sudo n latest升级到稳定版sudo n stable建议还是升级到稳定版...
2020-06-12 07:58:32
470
原创 用hugo搭建属于自己的个人博客(mac环境)
1.安装git环境安装成功后在终端输入git，会有以下显示：2.安装Homebrew网上教程有很多，也很简单,安装成功后，输入brew，会有以下显示：3.安装hugo终端内输入：brew install hugo安装成功后输入：hugo version则会显示4.新建自己的博客站点终端输入：hugo new site YOURBLOGNAMEYOURBLOGNAME是自己想要做的博客的名称成功后会显示：5.设置主题：(1).进入hugo主题网址(2).选择自己
2020-06-12 07:54:24
1215
原创 Windows访问Macbook共享文件夹
1.条件：macbook与windows在同一局域网内2.设置MacBook共享文件夹(1).左上角系统偏好设置(2)点击文件共享(3).选择共享文件目录(4).选择该目录使用的用户(5).设置共享权限权限3.windows访问共享文件：(1).win+r(2).输入:192.168.0.100是MacBook的ip地址\\192.168.0.100(3).输入设置的用户和密码，进入共享目录4.完成...
2020-06-12 07:46:54
1737
1
原创 Macbook访问Windows共享文件夹
一.windows中设置共享文件夹1.选择想要共享的文件夹2.右键文件夹，点击属性，选择共享,再选择共享3.选择用户，点击共享即可，二.macbook访问共享文件夹：1.点击桌面，点击前往，点击连接服务器2.输入smb://+IP地址，点击连接，注意此IP地址是windows本机的IP地址3.输入在windows中设置的名称和密码，然后选择共享文件夹，即可连接到windows4.访问成功...
2020-06-12 07:42:40
5076
原创 Mac IDEA配置Maven
1.下载网址：http://maven.apache.org/download.cgi2.解压到此文件夹/Users/macbook/Documents/maven/apache-maven-3.6.23.配置环境变量：(1)编辑.bash_profile文件vim ~/.bash_profile(2)添加如下内容：export M2_HOME=/Users/macbook/Documents/maven/apache-maven-3.6.2export PATH=$PATH:$M
2020-06-12 07:28:32
217
原创 redis 安装报错：jemalloc/jemalloc.h：没有那个文件或目录
1.在安装redis时，make编译时报错：jemalloc/jemalloc.h：没有那个文件或目录2.解决方法：执行命令make MALLOC=libc3.问题解决
2020-06-12 07:12:42
267
原创 Linux安装Apache
一.安装Apache1.安装yum install httpd2.启动：service httpd start3.验证：浏览器输入：192.168.1.125:80
2020-06-12 06:31:14
110
原创 MapReduce开发总结
在编写mapreduce程序时，需要考虑的几个方面：1.输入数据接口：InputFormat 默认使用的实现类是：TextInputFormat TextInputFormat的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，行内容作为value返回。 KeyValueTextInputFormat每一行均为一条记录，被分隔符分割为key，value
2020-06-09 23:57:29
122
原创 MapRedude之Join，数据清洗，计数器应用
一. Join多种应用1.Reduce join(1).原理： Map端的主要工作：为来自不同表(文件)的key/value对打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录(在map阶段已经打标志)分开，最后进行合并就ok
2020-06-09 23:57:00
167
原创 MapReduce之OutputFormat数据输出
1.OutputFormat接口实现类 OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了 OutputFormat接口。下面我们介绍几种常见的OutputFormat实现类。(1).文本输出TextOutputFormat 默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为TextOutputFormat调用to
2020-06-09 23:56:19
413
原创 MapReduce之ReduceTask工作机制
1.设置ReduceTask并行度（个数） reducetask的并行度同样影响整个job的执行并发度和执行效率，但与maptask的并发数由切片数决定不同，Reducetask数量的决定是可以直接手动设置：//默认值是1，手动设置为4job.setNumReduceTasks(4);2.注意(1)reducetask=0 ，表示没有reduce阶段，输出文件个数和map个数一致。(2)reducetask默认值就是1，所以输出文件个数为一个。(
2020-06-09 23:55:48
266
原创 MapReduce之Shuffle机制
1. Shuffle机制 Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程(即将map输出作为输入传给reducer)称为shuffle。2.Partition分区(0).问题引出：要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）(1).默认partition分区public class HashPartitioner<K, V> exten
2020-06-09 23:55:06
279
原创 MapReduce之MapTask工作机制
1.并行度决定机制(1).问题引出 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？(2).MapTask并行度决定机制 一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个数决定。2.MapTask工作机制(1)Read阶段：Map Task通过用户编写的RecordReader，从输入In
2020-06-09 23:53:01
136
原创 MapReduce之InputFormat数据输入
1.Job提交流程和切片源码详解(1).job提交流程源码详解waitForCompletion() submit(); connect(); // 1建立连接 new Cluster(getConfiguration()); // 1）创建提交job的代理 initialize(jobTrackAddr, conf); // （1）判断是本地yarn还是远程 submitter.submitJobInternal(Job.this,
2020-06-09 23:52:20
499
原创 MapReduce工作流程
1.流程示意图：2.流程详解 上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下：(1)maptask收集我们的map()方法输出的kv对，放到内存缓冲区中(2)从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件(3)多个溢出文件会被合并成大的溢出文件(4)在溢出过程中，及合并的过程中，都要调用partitioner进行分区和针对key进行排序
2020-06-09 23:50:12
178
原创 Kafka实战：消费者组案例
1.需求：测试同一个消费者组中的消费者，同一时刻只能有一个消费者消费。2.案例实操(1)在hadoop2、hadoop3上修改/opt/module/kafka-2.11/config/consumer.properties配置文件中的group.id属性为任意组名。vi consumer.propertiesgroup.id=movle(2)再hadoop3、hadoop4上分别启动消费者./bin/kafka-console-consumer.sh --bootstrap-serve
2020-06-06 11:09:38
522
原创 Kafka之Consumer配置信息
属性默认值描述group.idConsumer的组ID，相同goup.id的consumer属于同一个组zookeeper.connectConsumer的zookeeper连接串，要和broker的配置一致。consumer.idnull如果不设置会自动生成。socket.timeout.ms30 * 1000网络请求的socket超时时间。实际超时时间由max.fetch.wait + socket.timeout.ms 确定soc...
2020-06-06 11:08:36
529
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人