星月情缘的博客

宝剑锋从磨砺出,梅花香自苦寒来

一位优秀管理者每天、每周、每月的工作安排,你做到了几点

每天必须做的 1. 总结自己每一天的任务完成情况。 2. 考虑明天应该做的主要工作。 3. 了解至少一个部门销售拓展情况或进行相应指导。 4. 考虑一个公司的不足之处,并想出准备改善的方法与步骤。 5. 了解至少一个部门销售拓展情况或进行相应指导。 6. 每天必须看报表。 7. 考虑...

2019-05-18 21:36:39

阅读数 2102

评论数 1

linux 经典的shell 脚本 --总结

运维中 shell 是最基础也是最实用的工具了,使用的好可以帮助我们解决很多问题。以下是一些总结的shell编程题目。 1. 打印1到50之间的随机数,中心周围的正态分布。中间的数字最有可能发生,你越远,它们越少越不常见。 您可以使用以下命令对此进行测试并观察数字分布: for i i...

2019-05-17 16:31:29

阅读数 116

评论数 0

30岁以后:越无能的人,越爱在这几件事上浪费时间-- 职场

五一节了,一年中可以说已经过了一半。时间真的好快,快的不眨眼就明天了。加上有工作任务需要思考,旅游景点人也比较多,就没准备出去,在家里安排好自己的生活,不失也是一种知足。 前几天公司搞了个跳蚤市场,把一些闲置又占地方的好物,以低于成本价的价格内部出售,一开市,小同事们纷纷放下手上的工作,一哄而上...

2019-05-04 12:08:54

阅读数 184

评论数 0

linux下查看jps 进程出现1518 -- process information unavailable

之前在centos 7上安装过cdh 群集,今天登陆上去查看jps进程发现出现了这样的提示,之前遇到过这个问题,没有及时记录下来解决的步骤。今天再次做个总结归纳。 前面的 1518 是进程ID 分析出现的原因如下: 是因为普通用户启动了对应的程序后,root 用户执行了kill 命...

2019-04-29 09:41:49

阅读数 32

评论数 0

十大经典排序算法(Java版本)

排序算法(Python版本):最常见的排序算法(Python版),很多读者反馈,需要一份Java版本的,所以才有这篇文章 。 排序算法可以分为内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过程中需要访问外存。常见的内部...

2019-04-22 10:56:28

阅读数 109

评论数 0

20道linux 运维面试题目-涉及常用的多数技术

                       运维这个岗位在当下还是很重要,也很受欢迎的。给大家分享一些干货,面试题目,祝大家找到好工作。 1.  简述Linux 文件系统通过i 节点把文件的逻辑结构和物理结构转换的工作过程。 参考答案: Linux 通过i 节点表将文件的逻辑结构和物理结构...

2019-01-16 18:02:39

阅读数 281

评论数 0

crontab定时任务自动不能执行,手动可以执行的解决办法-亲测解决

        最近在做ETL任务调度时,使用系统自带的任务调度crontab 发现手动运行脚本可以执行完成,但是自动定时就不能实现,检查shell脚本也没有错误。奇怪哪里导致的问题呢?         后来在网上查询和不断测试,得知和系统的环境变量有关系的。发现脚本中需要添加必要的环境变量才可...

2018-10-11 15:03:06

阅读数 6491

评论数 0

kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决

       大家做ETL数据分析处理的话,应该对kettle都不陌生吧,它是一款高效的etl处理工具,kettle 可以创建转换和作业两种任务,转换以.ktr 结尾,作业以.kjb 结尾。 为了管理方便,我们可以把它作为本地文件保存或保存到资源库,其中资源库又分为文件资源库和数据库资源库,其中数...

2018-08-17 16:25:24

阅读数 5076

评论数 0

Hive 的使用操作方法-表创建,删除,分区的增删,修改表结构,重命名,行列互转和sql查询

Hive 的使用操作方法-表创建,删除,分区的增删,修改表结构,重命名,行列互转和sql查询           做大数据或数据分析的人员应该都非常熟悉Hive吧,它是一款强大的数据分析工具,就是类sql查询语句,可以把复杂的MapReduce任务转换为sql查询,方便了数据分析人员快速定位分析...

2018-08-12 16:24:17

阅读数 563

评论数 0

ELK日志收集系统学习错误总结-Error: Expected one of #, input, filter, output at line 10, column 1 (byte 71) after

今天自己搭建了elk 的系统准备学习一下看看,因为它是现在主流的实时数据分析系统。 具体的安装过程就再次不做描述了,和多数的linux 安装文件一样的,没多大区别的。 安装后测试了一下。居然报错。 启动命令:  //bin/logstash   -e  'input {stdin {}} o...

2018-07-30 18:00:26

阅读数 752

评论数 0

hadoop shell 常用的命令解释含义

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,schem...

2018-07-19 18:01:33

阅读数 122

评论数 0

hadoop 集群搭建异常, UnknownHostException Name or service not known

       最近在搭建hadoop 集群的过程中, 格式化namenode 时出现了一个错误就是: Re-format filesystem in Storage Directory /home/hadoop/hadoop/tmp/dfs/name ? (Y or N) Y18/05/28 03...

2018-05-28 16:05:34

阅读数 1314

评论数 0

linux 下添加新磁盘,挂载并分区的操作步骤,详细

                           Linux 系统下添加新磁盘挂载并分区的操作步骤我们经常会遇到磁盘空间不足的情况,常见的处理方案就是。 1. 进行磁盘垃圾清理,无用的历史数据进行清除,腾出空闲的磁盘空间,2.就是添加新磁盘,把不常用的数据移动到新的磁盘中。下面详细说明该如何操...

2018-05-28 15:05:01

阅读数 8066

评论数 0

linux shell脚本中需要转义的特殊字符

                                    shell 脚本中的特殊含义(和去除转义)        在linux 的shell编程中,我们会经常用到各种各样的符号,比如 #.!. (), {} / 等等。这些字符在linux 系统中有着特殊的意义,如果我们在使用过程中...

2018-05-18 16:55:19

阅读数 13194

评论数 0

java二分法学习笔记

算法很强大。好的算法可以实现很多功能的自动化,优化代码。 现在流行的大数据算法,机器学习算法等都是非常看好的体现。 下面简单介绍一下java的2分查找算法 实现过程 假如有一组数为3,12,24,36,55,68,75,88要查给定的值24.可设三个变量front,mid,end分...

2017-10-16 10:30:36

阅读数 138

评论数 0

spark大数据架构初学入门基础详解

Spark是什么   a) 是一种通用的大数据计算框架 b) Spark Core 离线计算         Spark SQL 交互式查询  Spark Streaming 实时流式计算  Spark MLlib 机器学习  Spark GraphX 图计算 c) 特点: i....

2017-10-15 16:57:19

阅读数 4309

评论数 0

linux系统下搭建NTP服务器

NTP服务器时用于局域网时间同步的。可以保证局域网所有的服务器与时间服务器保持同步。某些应用对时间的实时性要求比较高。要求必须统一时间,所以时间服务器的配置很重要。 互联网的时间服务器有很多。例如免费的有复旦大学的NTP服务器: ntpdate  ntp.fudan.edu.cn.  南京大学时...

2017-05-30 17:51:04

阅读数 1309

评论数 0

Linux知识点小结--精华总结

以下是一些使用linux的经验总结 1. 我的Linux需求 Linux博大精深。我只在此讨论一些我对线上Linux机器维护人员的基本需求,比如装机,加硬盘,配网络。只讨论CentOS 6,或者类似的RHEL,当然Ubuntu也可以此类推,但是一些新特性不予讨论,因为我不懂,比如CentOS ...

2019-07-10 10:27:40

阅读数 11

评论数 0

Hadoop 日常运维中的一些问题汇总整理

对于运维需要时刻保证服务的稳定和高可用。以下是一些对Hadoop群集运维过程中遇到的一些问题总结。有包含到大家遇到的可以参考。 1. 问题1 在集群执行hive脚本时,hive.log报错如下 java.lang.InterruptedException 解决办法: 原因是因为线程在...

2019-07-02 16:12:12

阅读数 32

评论数 0

spark 性能调优总结

一、性能调优1、分配资源a、在我们在生产环境中,提交spark作业时,用的spark-submit shell脚本,里面调整对应的参数/usr/local/spark/bin/spark-submit \--class cn.spark.sparktest.core.WordCountCluste...

2019-06-30 16:51:07

阅读数 16

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭