- 博客(20)
- 收藏
- 关注
RSS订阅原创 shell脚本多行注释和单行注释的方法
在各种语言中都有注释的方法，单行注释、多行注释，都很方便，其实shell脚本也有多行注释，而且很灵活。 那么我们来说说shell脚本中的注释方法， 单行注释 shell 中 “#” 代表注释本行， #!/bin/bash #echo "1" echo "2" 多行注释 shell 中可以用 “:<< ” 后面跟上任意字符或数据， 方法注释多行 博客已经迁移到github，请访问gi...
2019-06-14 00:43:56
3158
1
原创 Elasticsearch申请免费license
Elasticsearch是免费的，但是有些插件是需要license的，否则你只能试用，不能长期试用。如 marvel、x-pack、shield等插件。 注册免费license 我么可以在Elasticsearch官网上注册申请免费license 申请地址：https://register.elastic.co/marvel_register 安装表格填写姓名、邮箱、公司、国家 之后你的邮箱会收...
2019-06-13 23:58:53
4995
8
原创 nginx日志输出json格式
nginx 默认输出acces日志格式是message格式。现在都做日志统一分析ELK了，message格式就不是很适用了。 所以输出json格式对于后期分析就很友好了。 其他就不说了，直接上配置了 修改 nginx.conf 配置文件， 注释掉之前 log_format 重新写一个 json格式的log_format 请访问我的github博客查看文章全部内容：https://sukbeta.g...
2019-05-30 14:18:23
965
原创 直接在nginx配置文件中配置切分日志
最近我们nginx上来容器，日志实时传走，但是本地还需要留一份另作他用，这样用原来logrotate或cronolog方式切分日志就很麻烦了， 我就开始再nginx配置文件中想办法。 发现可以利用 $time_iso8601 变量来切分日志， 它就是每条日志得时间戳，取它的年、月、日、小时做变量，生成带时间戳得日志文件。就可以每小时、每天输出到不同文件里了。 请注意，不可能在error_log指...
2019-05-30 13:54:57
512
原创 marathon强制删除任务，app、deployment、task
marathon 强制删除任务 Marathon上的任务可能会因为其他原因，卡在那，不能被删除掉， 一直在deployment。这时候我们需要强制删除掉。 https://sukbeta.github.io/marathon-delete-app ####强制杀掉 deployment 删除deployment上的任务， 需要知道deployment上的id 强制杀掉 app task 需要知道t...
2019-05-16 11:23:36
719
原创 rsync、wget本地拉取yum源
rsync、wget本地拉取yum源 我们本地搭建yum源的时候，需要从官网拉取所有rrpm包到本地。再创建repo。这时候我们需要批量下载的方法。 有的镜像源提供了rsync接口，我们可以用rsync同步。没有的话我们可以用wget下载。 centos 官网提供了所有的镜像地址 list 我的博客已经迁移到github，请访问github地址查看全部内容：https://sukbeta.gith...
2019-05-10 11:12:20
1127
原创 Hadoop日志按天分割和开启审计日志
Hadoop日志按天分割和开启审计日志 hadoop 各个组件默认日志是大小分割的，到一定大小就分割出 .1 .2 .3 .4这样的文件，这样我们在查找问题的时候不是好定位你要的那天日志在哪个文件中。要是一天一个文件，按照日志的话就很好定位了。 在这里介绍一下hadoop按天切分日志的方法。 https://sukbeta.github.io/hadoop-log-segmentation/#方法...
2019-04-22 10:23:34
514
原创 hive 创建一个简单外联表
hive 创建一个简单外联表 https://sukbeta.github.io/hive-external-table ####hdfs 创建目录 首先需要在hdfs上创建一个目录，用于存放hive表得数据。 hdfs dfs -mkdir /tmp/yarn-count-application https://sukbeta.github.io/hive-external-table ###...
2019-04-18 10:20:50
526
原创 awk输出单引号或双引号
awk输出单引号，双引号 一个文件内容 cat 1 1 1.1.1.1 2 2.2.2.2 单引号 需要用单引号把第二列引起来。 我的博客已经迁移到github上，请访问github地址：https://sukbeta.github.io/awk-echo-SingleQuoteMark-DoubleQuotationMarks/ ...
2019-04-10 12:00:28
820
原创 parted分区方法
parted 支持2TB以上的磁盘分区，并且允许调整分区的大小。 分区表 MBR分区表：（MBR含义：主引导记录） 所支持的最大卷：2T （T; terabytes,1TB=1024GB） 对分区的设限：最多4个主分区或3个主分区加一个扩展分区。 GPT分区表：（GPT含义：GUID分区表） 支持最大卷：18EB，（E：exabytes,1EB=1024TB） 每个磁盘最多支持128个分区 ...
2019-04-10 11:57:15
316
原创 cgroup服务限制进程资源
linux 用 cgroup 服务限制进程资源 CGroup 功能及组成 CGroup 是将任意进程进行分组化管理的 Linux 内核功能。CGroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理功能是通过这个功能来实现的。这些具体的资源管理功能称为 CGroup 子系统或控制器。CGroup 子系统有控制内存的 Memory 控制器、控制进程调...
2019-04-10 11:54:29
799
原创 linux限制用户命令方法
linux 限制用户命令方法 linux 上想限制用户可以执行的命令，可以通过环境变量和安装lshell工具方式。 环境变量的方式 脚本放在 /etc/profile.d/ 下，每个用户登入的时候都交脚在这里的环境变量。 脚本中判断当前用户，root 用户不受权限。 二，lshell 工具 我的博客已经迁移到github上，请访问github地址：https://sukbeta.github.io...
2019-04-10 11:49:04
2806
原创 curl方式执行shell脚本时传参数
curl方式执行shell脚本时传参数 有时候shell脚本可以放在http页面上，不用download，可以直接执行。 通常我们可以用curl的方式执行http页面上的shell脚本。 一般方式是： curl http://sukbeta.github.io/web/shell.sh | bash 这样脚本就可以再本地机器上执行了。 但是需要传入参数的脚本。我们可以用下面的方式传入shell参...
2019-04-10 11:38:00
1505
原创 hadoop修改文件副本数
hadoop修改文件副本数 Hadoop上默认一个人间的副本数是3，这个也是可以再配置文件中<dfs.replication>参数修改的。 这里我们说一下，上传一个文件的时候更改文件的副本数。让他不用默认的副本数。 博客迁移到github，github地址： https://sukbeta.github.io/hadoop-set-replication 上传文件 命令上传文件，副本...
2019-03-28 11:32:40
2585
原创 hadoop设置目录配额-setSpaceQuota
hadoop设置目录配额-setSpaceQuota 在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号，所有在管理上最好让每个账号仅操作某一个目录，然后对目录设置配置。 设定方法有两种： Name Quotas：设置某一个目录下文件总数 Space Quota...
2019-03-27 13:19:52
1118
原创 查看docker容器日志 logs命令详解
查看docker容器日志 logs命令详解 通过docker logs命令可以查看容器的日志。 github地址：https://sukbeta.github.io/docker-logs-explantion/ docker logs 日志说明 当我们输入docker logs的时候会转化为Docker Client向Docker Daemon发起请求,Docker Daemon 在运行容器时会...
2019-03-26 11:00:39
1857
原创 hive metastore 配置 HA
hive metastore 配置 HA hive metastore 配置多台，可以避免单节点故障导致整个集群的hive client不可用。同时hive client配置多个merastore地址，会自动选择可用节点。 博客已迁移至 github。 本文github地址 https://sukbeta.github.io/hive-meta-ha/ 请再github上查看，谢谢支持！ ...
2019-03-25 16:04:58
758
原创 hive 自定义参数
hive 自定义参数 –hiveconf 参数 我的博客已经迁移到 github 请访问 https://sukbeta.github.io/hive-custom-variables/ 查看文章 谢谢大家的支持。
2019-03-25 16:03:03
855
原创 hadoop常用命令(整理笔记)
hadoop常用命令（整理笔记） 个人笔记，自己查看使用。就不一一整理了。 分 HDFS、YARN、SPARK、HBASE 博客已经迁移到我的github地址，请访问： https://sukbeta.github.io/hadoop-command ...
2019-03-25 16:00:34
206
原创 hadoop上命令行查看lzo、gz、bz文件
hadoop上命令行查看lzo、gz、bz文件 HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。 我们用命令行查看HDFS上压缩文件，也是可以的。 查看 HDFS 上 lzo 文件的命令 博客已经迁移到github上，请访问：https://sukbeta.github.io/hadoop-lzo-gz-bz2 ...
2019-03-25 15:57:04
4052
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人