- 博客(115)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Go typeof、 Kind、Elem、Name用法
GO typeof 用法type Hello struct { Name string}func useTypeOf(val interface{}) { msgType := reflect.TypeOf(val) msgKind := msgType.Kind() msgID := msgType.Elem() msgIDname := msgType.Elem().Name() fmt.Println("Type is ", msgType) fmt.Println("
2022-03-21 20:27:25
1384
原创 Go channel 边写边读和一次性写一次性读（有无缓冲）
有缓冲 （边写边消费）当channel 容量 和 消费生产容量相同时，不会发生阻塞，我们看这里package mainimport ( "fmt" "time")func main() { c := make(chan int, 3) fmt.Println("len c is ", len(c), "cap c is ", cap(c)) go func() { defer fmt.Println("sub go is dnoe!") for i := 0; i <
2022-02-07 12:59:50
1221
原创 Screen 安装和快速使用
经常忘了这个命令如何使用, 干脆自己记下来吧.# ubuntuapt-get -y install screen# centos yum install screen # 创建并切进入一个窗口screen -S [your sreen name]为了不打断进程,而退出当前窗口使用快捷键 ctrl + A + D 即可这时候我们退回到了原来的 终端, 查看当前所有screen 信息screen -ls回复到原来的窗口screen -r [前面的编号] 删除窗口screen
2021-09-08 10:03:54
336
原创 Hive的特性以及它和Hbase 的区别
Hive 数据仓库hive的存储是基于hdfs/hbase的，hive的计算是基于mapreduceHive 特点简单易用基于SQL表达式语法，兼容大部分SQL-92语义和部分SQL-2003扩展语义可扩展性Hive基于Hadoop实现，可以自由的扩展集群的规模，一般情况下不需要重启服务延展性Hive支持用户自定义函数，用户可以根据自己的需求自定义函数容错性Hadoop良好的容错性,节点出现文帝,SQL仍可完成执行适用于:大数据集的批处理统计分析作业，例如：网络日志分
2021-06-24 23:13:35
263
1
原创 理解 Hbase
HbaseHadoop是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库基本结构表 table行 row行键 rowkey列族 column family列限定符 qualifier单元格 cell版本、时间戳数据模型idnameAgeHobbyAddress01zhangsan26篮球山东020304变成这样:RowdyFamily1Family2
2021-06-23 17:12:44
197
1
原创 HDFS_HA & Zookeeper 学习笔记
HDFS_HA & ZookeeperHA 架构图zk: ZooKeeper 分布式应用程序服务的组件NN: NameNode 管理文件系统的元数据信息DN: DataNode 存储数据的JN: JournalNode 主要用于NN的数据共享zkfc: ZooKeeperFailoverControl 监控和管理NN的状态HA使用active NN和standby NN两个节点解决单点问题，两个NN节点通过JN集群共享状态，通过ZKFC选举active，监控NN的状态，实现自动备
2021-06-23 17:04:35
195
原创 YARN资源调度原理
文章目录YARN资源调度器为什么要用Yarn ?Yarn 守护式进程ResourceManager 做什么?理解:NodeMangers 做什么其他解释:Yarn 运行一个应用程序容器:ApplicationMaster提交一个 Application 到 Yarn 的流程1、提交一个MR应用程序2 、ApplicationMaster 资源请求3、容器分配4、ApplicationMaster 分发task5、 运行过程中Yarn 容器生命周期数据本地性总结: 集群资源分配Yarn 容错性Web UIYa
2021-06-23 16:46:57
982
2
原创 MapReduce计算原理
文章目录MapReduce 分布式计算系统MapReduce 是一种编程模型(计算框架)MapReduce采用“分而治之”策略MR是移动计算 是 “计算向数据靠拢“MR特性MR术语解释作业任务客户端MR_V1 结构流程解释Map wordCount 例子CombinerMap shuffle(洗牌)Partition(分隔)MR计算过程MR工作流程流程详解:SplitMR应用执行过程零碎:流程详解(拓展):MapReduce 分布式计算系统input->Splitting->Mappin
2021-06-23 16:40:12
1714
原创 HDFS原理与使用
文章目录HDFSHDFS提供了哪些特性HDFS 块NameNode 作用Secondary NameNode 作用SecondaryNameNode 诞生来源所以DataNode 作用非HA的HDFSHA的HDFSHDFS是如何读取和写入文件?写文件详细步骤如果管道里有个DN出问题:读取一个文件详细步骤处理数据损坏数据的可靠性及恢复NameNode如何使用内存?为什么HDFS喜欢少量的大文件Hadoop如何保障文件的安全性?HDFS文件的权限Hadoop安全概览如何使用NameNode的Web用户界面?如何
2021-06-23 16:33:49
584
转载 SSH 报错 Connection reset by peer
转载 : https://www.cnblogs.com/starof/p/4709805.htmlhttps://www.cnblogs.com/starof/p/4709805.html
2021-06-11 17:24:29
8403
原创 树莓派4b 登陆Ubuntu 20.4 之后需要的配置
安装 Vimapt-get remove vim-commonapt-get install vimSSH 配置apt-get install openssh-server# 检查ps -e |grep ssh# 没启动service ssh startRoot 登陆sudo passwd rootsudo passwd --unlock rootsudo sed -i "s/^#PermitRootLogin.*/PermitRootLogin yes/g" /etc/ssh
2021-06-10 20:56:49
257
原创 树莓派 Ubuntu 20.4 Server 无显示器无键鼠 配置
就是T*D 不要用 OSX 烧录!! !问题背景:个人没有给树莓派配置屏幕键盘, 买回来就开始烧录,本地(OSX)烧录号了, 然后本地根据官网教程配置了netconf 文件(wifi), 我本地拔卡,随后给树莓派插卡, IP 地址我也找到了, ssh ubuntu@ip 怎么就是上不去, 后来根据硬件指示灯才知道问题出在哪问题线索:指示灯:最后怎么解决的? Mac上格式化了一下SD卡, FAT32 . 然后拿去用Win 电脑官方烧录工具烧录的Ubuntu20 Server LTS...
2021-06-06 23:08:44
1178
原创 阿里云 | Nginx实现OSS反向代理走内网到本地
apt-get updateapt-get upgrade -y# 创建我们需要的目录mkdir -p /home/luuuxury/Plotting_SSDmkdir -p /home/luuuxury/Farming_SSD# 列出磁盘状态fdisk -lfdisk -u /dev/vdbp 查看数据盘的分区情况n 创建一个新分区p 选择分区类型为主分区输入分区编号，按回车键, 默认为 1输入第一个可用的扇区编号，按回车键 默认2048开始输入最后一个扇区编号，按回车
2021-06-05 23:24:46
1739
原创 MacOS 合并一个磁盘下的两个分区
问题背景同一个次盘,但是桌面上有两个小磁盘, 我想合并机械硬盘下的两个分区,但是磁盘管理下的分区是灰色的无法点击.后想到通过CLI解决问题解决列出所有磁盘信息输入diskutil list我要合并的是/dev/disk2 (external, physical): #: TYPE NAME SIZE IDENTIFIER 0: FDisk_partition_scheme
2021-06-05 14:33:17
4193
原创 Chia 云P图 全套解决方案
这里写自定义目录标题云上Plot服务器参数:Ubuntu Chia Setting不接入矿池P图接入矿池P图吐槽:云上Plot打算尝试使用混合云方案,即:云绘图oss/cos 对Plot文件传输本地Farming服务器参数:服务器类型: 阿里云 / 腾讯云 计算型服务器CPU_参数: 尽量选高Ghz的, 2核, 4G存储_P图 : 开一个线程P图-最低 250G+; 两个线程P图 最低370G+存储_plot文件: 实际 120G 一个说明:CPU Ghz 越高越好
2021-05-15 20:45:32
3939
1
原创 Hadoop报错 JAVA_HOME 找不到
Master 主机修改 hadoop-env.sh 文件vi hadoop-env.sh 修改 JAVA_HOME 为绝对路径# export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/Users/liuyang/Desktop/Young_Hadoop/docker/jdk1.8如果不知道 hadoop-env.sh 文件在哪在Master主机使用命令 即可查找find / -name hadoop-env.sh [root@0769c7b22f0
2021-03-30 21:11:09
5476
原创 Python实现R语言基本运算符号和常用函数的使用
文章导航目录嗯淦部分基本运算符号的操作和使用代码部分常用函数的操作与使用所有代码就到这吧. 不想写了嗯我知道基础挺重要的, 很不想再去过一边, 但是老师留了作业, 把R语言的翻译成Python.如果不是作业, 我现在应该在开黑了.写吧…那就.淦部分基本运算符号的操作和使用代码整篇放在一起了, 下楼梯吧部分常用函数的操作与使用标准正态分布图import numpy as npimport matplotlibimport scipy.statsmatplotlib.us
2021-03-02 20:33:55
365
原创 成绩单分析
文章导航目录前言CSV 写好了.好了,开始写代码了数据处理图散点箱体异常值处理所有代码:前言怎么硕呢, 我就挺%…&*#%&()&…的吧.今天还下雪了, 不想出去了.家里写作业吧…… 还是想说点什么.本以为大三, 在也不用写代码了.草(一种植物)蒜了, 人在屋檐下,不得不低头.好了 开始写 Excel 了CSV 写好了.真 他星星麻烦--------分割线--------好了,开始写代码了看起来还不错… 继续…数据处理谷歌搜的答案好像还不错… 继续
2021-03-01 12:50:29
1207
1
原创 python 阿里云发送邮件发不出去(SMTP)解决办法
阿里云封禁了25端口,要是开放需要申请,大概几个工作日吧,但是哪有那么多时间所以换个端口号就OK了把这行改一下就行,我本地是这样的:server = smtplib.SMTP("smtp.qq.com", 25) # SMTP协议默认端口是25放在服务器上是这样的:server = smtplib.SMTP_SSL("smtp.qq.com", 465) # SMTP协议默认端口是25记得配置一下阿里云实例安全组OK...
2020-11-17 17:15:03
1346
1
原创 python BeautifulSoup(bs4)爬取研招网 考研动态 正文
文章导航目录爬取目标:1、导包2、先获取所有文章链接2.1对一个文章使用bs4解析2.2 一个文章的结果:3 、爬取所有爬取结果:最后(爬虫)声明:爬取目标:爬取研招网-考研动态所有的文章的的的的的正文标题日期来源郑重声明：本项目及所有相关文章，仅用于经验技术交流，禁止将相关技术应用到不正当途径，因为滥用技术产生的风险与本人无关。Smile 我是分割线.... 1、导包import csvimport timeimpor
2020-11-06 00:01:05
1541
4
原创 Python 爬取厦门人才网 三步走
郑重声明：本项目及所有相关文章，仅用于经验技术交流，禁止将相关技术应用到不正当途径，因为滥用技术产生的风险与本人无关。文章导航目录目标:1 导入包2 解析一下网页3 爬取结果:目标:获取厦门人才网爬虫为关键字的信息1 导入包import reimport csvimport requestsfrom bs4 import BeautifulSoup2 解析一下网页要爬取的URL: https://www.xmrc.com.cn/net/info/resultg.aspx?keyw.
2020-11-05 23:26:33
1139
原创 python 爬取研招网并写入CSV文件
直接奥利给吧…import csvimport timeimport requestsimport urllib.parsefrom lxml import etreefrom fake_useragent import UserAgent# 为了得到页数url='https://yz.chsi.com.cn/sch/'res=requests.get(url).textdom=etree.HTML(res)get_page = dom.xpath('//*[@class="ch-p
2020-10-29 20:51:16
3264
原创 “docker build“ requires exactly 1 argument 报错
我的目录是这样的:我的 docker_file 文件是这样的:FROM centosMAINTAINER LiuYoung<ly610855878@icloud.com>ENV MYPATH /usr/localWORKDIR $MYPATHRUN yum -y install vimRUN yum -y install net-toolsEXPOSE 80CMD echo $MYPATHCMD echo "success--------ok"CMD /bin/ba
2020-08-12 17:24:09
2086
1
原创 Docker 容器内外如何共享数据
文章导航目录容器数据的卷作用:创建一组数据卷:检验方法对数据卷增加权限有时候我们需要把Docker 容器内有用的数据保存到本地,而且Docker不能使用docker export、save、cp等命令来备份数据卷的内容，因为数据卷是存在于镜像之外的,那么有什么办法可以实现我们的数据持久化呢?容器数据的卷作用:数据卷可以用来存储Docker应用的数据，也可用来在Docker容器间进行数据共享一个数据卷就是一个指定的目录,在容器-本地或容器间各自指定一个目录,实现数据同步对数据卷内数据的修改会立马生
2020-08-10 12:40:19
1440
原创 Docker容器查看日志,进程以及交互 (下)
上一篇我们讲解的Docker 交互式容器那么本篇将会继续使用Centos镜像,以,后台模式启动一个容器文章导航目录启动守护式容器:查看容器日志举例:查看容器内运行的进程查看容器内部细节进入正在运行的容器并以命令交互示例:从容器内拷贝文件到主机上启动守护式容器:在开始之前我们先大概了解交互式容器和守护进程式容器各自的作用.交互式的容器,一般做为工具类的容器,而守护式的容器,必须要对外暴露端口,才能实现自身价值我们先用docker ps -a 查看一下所有的容器[root@StrawberryJam
2020-08-09 00:19:21
1986
原创 Docker容器的建立、启动、退出、停止、删除 (上)
文章导航目录Docker 容器上才艺!新建并启动容器(docker-run):方法一:根据ID启动方法二:自定义名称启动退出容器的两种方式:启动容器:容器的重新启动:容器的停止:容器的删除:Docker 容器Docker利用容器可以独立的运行一个获一组应用.容器使用镜像创建的运行实例他可以被启动、开始、停止、删除.每个容器都是相互隔离的、保证安全的平台.可以把容器看作是一个简易的Linux环境包括root用户权限、进程空间、用户空间和网络空间和运行在其中的应用程序容器的定义和镜像几乎一摸一样,.
2020-08-08 17:04:59
2111
原创 Docker 镜像的搜索、获取、删除
文章导航目录Docker—常用镜像命令docker images:示例:docker-search:示例一:示例二:docker-pull :示例:docker-rmi示例:Docker—常用镜像命令docker images:docker images : 用于查看本地镜像.并返回 5 个选项分别是:REPOSITORYTAGIMAGE IDCREATEDSIZE镜像仓库员镜像的标签镜像ID镜像创建的时间镜像大小示例:[root@Strawberry.
2020-08-08 10:21:28
23720
2
原创 Golang 操作Redis建立连接池
文章导航目录流程如下:Code运行结果:流程如下:1、事先初始化一定数量的连接,放入到连接池;2、当Go需要操作Redis时,直接从Redis连接池取出连接即可;3、这样可以节省临时获取Redis连接的时间,从而提高效率;Code全部都在代码里了.package mainimport ( "fmt" "github.com/garyburd/redigo/redis")var pool *redis.Poolfunc init() { pool = &redis.P
2020-08-06 17:08:33
1103
原创 Golang连接redis 并向redis写入和读取数据
文章导航目录第一步—下载包:第二步—开启Redis服务端和客户端:第三步—建立连接:运行结果:第一步—下载包:在连接Redis之前,我们需要安装一个包,在你的 gopath 目录下输入下面这个命令go get github.com/garyburd/redigo/redis如果不知道自己的gopath,输入 sudo vim /etc/profile 可以查看下载好以后,你会发现自己的 src文件 中多了一个 github.com 文件,这就说明下载好了我的目录结构是这样的:第二步—开启R
2020-08-06 10:42:53
6520
4
原创 Redis-Set CRUD操作
文章导航目录Redis-Set举例:创建:取值:判断:删除:Redis-SetRedis-Set 是string类型的无序集合Redis-Set 底层是HashTable数据结构Set 可以存放很多字符串元素字符串元素是无序的而且元素的值不能重复举例:创建:使用 sadd 命令创建一个set127.0.0.1:6379> sadd emails Jack@sohu.com Rose@qq.com John@163.com(integer) 3取值:使用SMEMBERS 命令可
2020-08-05 16:08:23
205
原创 Redis—List类型的CRUD操作
文章导航目录Redis—List举例讲解:创建:获取:根据索引获取:POP ! :删除列表:查看长度:Redis—ListRedis—List 是简单的字符串列表,按照插入顺序排序.可以添加一个元素到列表的头部或者尾部Redis—List 本质是个链表,List的元素是有序的,元素的值是可以重复的举例讲解:创建:使用 LPUSH 或者 RPUSH命令来创建一个列表,同样也可用该命令对List进行添加/填充127.0.0.1:6379> lpush city BeiJing ShangHa
2020-08-05 11:59:09
348
原创 Redis—Hash类型的创建和获取
文章导航目录Redis-Hash举例:(单一)创建:(单一)获取:(多字段)创建:直接获取(所有):Redis-HashRedis hash 是一个键值对集合(类似golang里的map)Redis hash 是一个string类型的field和value的映射表,hash特别适合用于存储对象使用HSET命令来创建,GSET命令来获取举例:(单一)创建:127.0.0.1:6379> hset user1 name "Jack"(integer) 1127.0.0.1:6379>
2020-08-05 10:07:16
2732
原创 Redis 字符串的CRUD~
文章导航目录StringString-CRUD举例:定时任务操作:举例:一次设置多个key - value举例:Stringstring是redis最近基本的类型,一个key对应一个valuestring类型是二进制安全的.除普通的字符串外,也可以存放图片等数据redis中字符串value最大是512MString-CRUD举例:CRUD其实是数据库基本操作中的Create(创建)、Retrieve(读取)、Update（更新）、Delete（删除）存放一个地址信息:127.0.0.1:
2020-08-04 11:06:25
178
原创 Golang | 在不关闭管道的情况下,防止阻塞的解决办法
文章导航目录前言:案例:结果:前言:在实际开发当中,我们有时候不好确定什么时候要关闭管道,也就不能随便的close掉,那么我们就是可以使用select 完美解决案例:我们创建两个可以发生死锁的管道,然后通过 select - return 关掉它package mainimport "fmt"func main() { intChan := make(chan int, 10) for i := 0; i < 10; i ++ { intChan<- 1 } s
2020-07-30 19:13:56
850
原创 Golang 发生死锁 协程配合管道解决
文章导航目录题目要求:思路分析:题目要求:1、开启一个writeData 协程,向管道中写入50个整数2、开启一个readData 协程,从管道intChan中读取writeData写入的数据3、注意:write 和read 操作的是同一个管道4、主线程需要等待writeData 和 readData协程都完成工作才能退出管道思路分析:...
2020-07-30 12:45:10
587
原创 Golang | 快速创建管道案例
All in code :package mainimport "fmt"func main() { // 演示管道的使用 // 演示一个可以存放3个int类型的管道 var intChan chan int intChan = make(chan int, 3) // 查看intChan是什么 fmt.Printf("intChan 的值是=%v , intChan 自己本身的地址是= %p \n", intChan, &intChan) // 向管道写入数据 in
2020-07-03 18:01:10
586
原创 Go实现协程,实例
Smile 我会两种语言，一种写给程序执行，一种说给你听 文章导航目录什么是协程?如何快速启动一个协程运行结果解释未开启协程流程图:小结什么是协程?Go 协程是与其他函数或方法一起并发运行的函数或方法。Go 协程可以看作是轻量级线程。如何快速启动一个协程package mainimport ( "fmt" "strconv" "time")func test() { for i := 1; i <= 10; i ++...
2020-06-29 15:58:15
1236
原创 Go | 创建结构体的四种方式
Smile 我会两种语言，一种写给程序执行，一种说给你听。 package mainimport "fmt"type Person struct { Name string Age int}func main() { // 方式 1 : 直接声明 var p1 Person p1.Name = "Jack" p1.Age = 18 fmt.Println(p1) // 方式 2 ： p2 := Person{"Ma...
2020-06-10 08:09:45
1354
原创 Golang | 独树一帜的面向对象的特点
Smile 一个程序就是一个世界,有很多的对象(变量) 文章目录Golang 语言“面向对象编程”的说明:结构体定义一个最简单的结构体CatGolang 语言“面向对象编程”的说明:Golang也支持面向对象编程(OOP),但是和传统的面向对象编程有区别,并不是纯粹的面向对象语言.所以我们说Golang支持面向对象编程特性是比较准确的Golang中没有类(class),Go语言的结构体(struct)和其他编程语言的类(class)有同等地位,...
2020-06-09 14:04:40
286
运维工程师简历模版,word
2020-06-03
课程资源导读.pdf
2020-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人