- 博客(41)
- 收藏
- 关注
RSS订阅原创 脚本启动flume报错，no configuration dirctory set
使用命令行直接启动flume没有问题，但是使用shell脚本启动flume会报错 ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/jobs/taildir_kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE > /opt/module/flume/log1.txt 2>&1 &"Caused by: jav
2021-12-06 23:23:45
544
原创 Centos7静默安装oracle
Centos7静默安装oracle1.准备工作1.1 依赖性准备 centOS7 安装Oracle 需要的Packagebinutils-2.23.52.0.1-12.el7.x86_64 compat-libcap1-1.10-3.el7.x86_64 gcc-4.8.2-3.el7.x86_64 gcc-c++-4.8.2-3.el7.x86_64 glibc-2.17-36.el7.i686 glibc-2.17-36.el7.x86_64 glibc-devel-2.1
2020-11-07 14:01:06
700
原创 linux系统常用命令
9.2收集进程信息显示当前终端（TTY）中的进程 $ ps PID TTY TIME CMD 33077 pts/2 00:00:00 bash 33099 pts/2 00:00:00 ps# ps -fUID PID PPID C STIME TTY TIME CMDroot 33077 33060 0 13:22 pts/2 00:00:00 -bashroot 33100 .
2020-08-16 17:33:44
263
原创 linux系统知识
8.2统计磁盘使用情况找出某个文件占用的磁盘空间$ du filename1 filename2 ..$ du file.txt所有文件磁盘使用情况$ du -a DIRECTORY (-a 递归输出所有文件）以KB、MB、GB显示磁盘使用$ du -h filename （显示KB\MB\GB)显示总计$ du -c FILENAME1 FILENAME2 （多出一行总计）只输出合计$ du -s files$ du -sh DIRECTIRY用特定单位打印文件强制特定单
2020-08-16 17:23:58
160
原创 linux联网知识
7.2联网知识入门查看网络接口、等信息$ ifconfig打印网络接口列表$ ifconfig | cut -c-10 | tr -d ' ' | tr -s '\n'显示接口详细信息ifconfig iface_nameHWaddr 是硬件地址（MAC地址）inet addr 是IP地址Bcast是广播地址Mask 是子网掩码提起ip地址$ ifconfig eth0 | egrep -o "inet addr:[^ ]*" | grep -0 "[0-9.]*"设置网络IP地址
2020-08-16 17:22:17
177
原创 linux 压缩与归档
6.2tar归档可以将多个文件和文件夹保存为单个文件，同时保留文件的所有属性，归档后的文件通常称为tarball例如$ tar -cf output.tar file1 file2 file3命令中-c代表创建文件，-f代表指定文件名 文件名必须紧跟-f之后，并且应该是参数组的最后一项向归档文件中添加文件 （-r)$ tar -rvf original.tar new_file下面方法列出归档文件中的内容$ tar -tf archive.tar可以使用-v或-vv选项获知在归档或者
2020-08-16 17:21:28
238
原创 linux网络下载
网站下载wget 是一个用于文件下载的命令行工具用wget可以下载网页或远程文件：$ wget URL多处URL下载$ wget URL1 URL2 URL3..下载文件输出文件到指定文件$ wget ftp://example.com/somefile.img -o dloaded_file.img -o log指定重试次数$ wget -t 5 URL使用--limit-rate对wget限速$ wget --limit-rate 20k http://.....可以使用k和m指
2020-08-16 17:19:45
382
原创 awk命令操作
awk入门可以对列和行进行操作，含有数组、函数等awk脚本结构 awk ’BEGIN{ print "start" } pattern { commands } END{ print "end"} fileanme 例如： $ awk 'BEGIN{ i=0} { i++ } END{ print i }' filename $ echo -e "line1\nline2" | awk 'BEGIN{ print "Start"} {print} END{ print "End"}' 使
2020-08-16 17:19:06
716
原创 sed操作
sed入门 sed可以替换给给定文本中的字符穿，利用正则表达式进行匹配 $ sed 's/pattern/replace_string/' file OR $ cat file | sed 's/pattern/replace_string/'file 使用-i选项，可以将替换结果应用与源文件，或者记住重定向保存文件 $ sed 's/text/replace/' file > newfile $ mv newfile file OR $ sed -i 's/text/rep
2020-08-16 17:18:17
134
原创 grep命令
grep搜索文本在文件中搜索一个单词 $ grep match_pattern filename 或者 $ grep "match_pattern" filename 返回包含match_pattern的文本行 或者从stdin中读取 $ echo -e "this is a word \nnext line" | grep word 也可以多文件搜索 $ grep "match_text" file1 file2 file3 ... 用--color选项可以在输出行重点标记匹配到的单词：
2020-08-16 17:17:44
195
原创 正则表达式
正则表达式正则表达式描述示例^行起始标志^tyx 匹配以tyx起始的行$行尾标记tyx$ 匹配以tyx结尾的行.匹配任意一个字符[]匹配包含在[]字符之中的任意一个字符coo[kl]匹配cook或cool[^]匹配除[^字符]之外的任意一个字符9[^01]不匹配91或90[-]匹配[]中指定范围内的任意一个字符[1-5]匹配1~5的任意一个数字？匹配之前的项1次或0次colou?r匹配color或者colour但是不能
2020-08-16 17:16:23
110
原创 linux文件操作
# linux文件系列创建特定大小的文件单元大小 字节（1B） C \字（2B） w \块（512B）b\ 千字节（1024B）k\ 兆字节（1024KB）M\ 吉字节（1025MB）G\$ dd if=/dev/zero of=junk.data bs=1M count=1 (也可以测试内存操作速度）文本交集与差集sort A.txt -o A.txt; sort B.txt -o B.txt 对文件进行排序comm A.txt B.txt comm A.txt B.txt -3
2020-08-16 17:15:23
138
原创 hive
hiveHive介绍hive 数据仓库工具Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析...
2019-10-10 20:13:56
305
原创 zookeeper
zookeeperzookeeper介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系...
2019-10-10 20:11:00
62
原创 hdfs的 shell命令
hdfs的 shell命令:hdfs dfs -puthdaoop dfs -hadoop fs -hdfs dfs -ls hdfs://hadoopnet:8020/test查看hdfs的shell命令用法 hdfs dfs -help[-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GRO...
2019-10-10 19:41:13
254
1
原创 hadoop安装
hadoop安装一：创建虚拟机1.在终端中打开关闭防火墙： service iptables stop查看防火墙状态：service iptables status如果出现：iptables :未运行防火墙 说明关闭成功关闭防火墙的开机自启:chkconfig iptables off2.找到文件/etc/sysconfig/network-scripts/ifcfg-eth0进行...
2019-10-10 19:40:43
655
1
原创 HADOOP介绍
HADOOPhadoop历史Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop 就是为了解决面向互联网及其他来源的大数据的分析和并行处理计算模型。她的诞生引起了学术界、金融界以及商业界的广泛关注。其创建之初的宗旨就是让使用者和用户能够通过使用大量普通的服务器搭建相应的服务器集群来实现大数据的并行处理能力，其优先考虑的是数据扩展性和系统的可用性。hadoop用处...
2019-10-10 19:40:24
164
原创 Linux简介
Linux简介什么是Linux？其实，像Windows，MacOS一样，Linux也是一个操作系统。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统...
2019-08-08 20:15:14
274
原创 多线程-共享全局变量问题
多线程-共享全局变量问题多线程可能遇到的问题假设有两个线程t1和t2,都要对一个变量g_num进行运算(+1),两个线程t1和t2分别对g_num各加10次,g_num的最终结果?import threadingimport timeg_num = 0def work1(num): global g_num for i in range(num): ...
2019-08-07 20:29:39
797
原创 正则表达式
正则表达式正则表达式，又称规则表达式**。**（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。给定的字符串是否符合正则表达式的过滤逻辑（匹配）通过正则表达式，从字符串中获得我们想要的特定的部分。使用场景：爬虫数据挖掘和分析在Python中使用正则...
2019-08-06 19:38:22
94
原创 多任务介绍-进程-线程
多任务介绍1.现实中的多任务看着番剧吃着饭2.计算机中的多任务计算机中的多任务是指,操作系统同时完成多项任务的处理.多任务处理是指,用户在同一时间段内运行多个应用程序,每个应用程序就可以称之为一个任务.现在，多核CPU已经非常普及了，但是，即使过去的单核CPU，也可以执行多任务。由于CPU执行代码都是顺序执行的，那么，单核CPU是怎么执行多任务的呢？答案就是操作系统轮流让各个任务交替...
2019-08-06 19:27:46
209
原创 网络编程
网络编程1.引子加入有两个脚本，foo.py , bar.py ,分别运行，都可以正常运行。但是现在想从两个程序间传递一个数据。同一台电脑创建一个文件，将foo.py的数据读入文件中，bar.py从文件中读取数据。不同电脑间该怎么做？软件的开发架构C/S架构C/S即Client和Server—>客户端和服务器端架构B/S架构B/S即Browser和Ser...
2019-08-06 19:19:47
513
原创 面向对象3
面向对象3isinstance 和 issubclassisinstance(obj,cls) 检查obj是否是类cls的对象class Foo: passfoo = Foo() # 实例化print(isinstance(foo,Foo)) # Trueissubclass(cls,classinfo)class Foo: passclass Bar(Fo...
2019-08-05 18:41:41
109
原创 装饰器的几种形式
装饰器的几种形式1.无参数无返回值def setFunc(func): def wrapper(): print("Start") func() print("end") return wrapper@setFunc # setFunc(show)def show(): print("show")show()# ...
2019-07-31 20:21:06
247
原创 面向对象 2
面向对象 2静态方法和类方法1.静态方法通过装饰器@staticmethod来进行装饰。静态方法既不需要传递类对象也不需要传递实例对象静态方法也可以通过实例对象和类对象访问class Dog: type = "狗" def __init__(self): name = None # 静态方法 @staticmethod def...
2019-07-31 20:20:34
92
原创 闭包、装饰器
闭包闭是封闭（函数中的函数）,包是包含（该内部函数对外部函数作用域而非全局作用域变量的引用。）闭包：内部函数对外部函数作用域里的变量的引用函数内的属性，都是有生命周期，都是在函数执行期间闭包内的闭包函数私有化了变量，def foo(): print("in foo()") def bar (): print("in bar()")#1. 直接运行内...
2019-07-30 19:18:09
146
原创 生成器
生成器生成器，利用迭代器我们可以在每次迭代获取数据时（通过next()方法）按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代的状态需要我们自己记录，进而才能根据当前的状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，可以采用更简便的方法即生成器（generator），生成器是一种特殊的迭代器，他比迭代器更优雅。创建一个生成器生成器表达式把列...
2019-07-30 19:17:07
108
原创 迭代器
迭代器可迭代对象：迭代器协议：对象必须提供一个next方法，执行该方法要么返回迭代器中的下一项，要么引起StopIteration异常，以终止迭代（只能往下走，不可以回退）实现了迭代器协议的对象就是可迭代对象。如何实现？通过在对象内部定义一个__iter__方法。li = [1,2,3]for i in li: print(i,end=" ")print(dir(...
2019-07-30 19:16:38
84
原创 面向对象
面向过程与面向对象面向过程函数式编程面向对象面向过程所谓过程就是我们解决问题的步骤，一步步的按照流程走，有先后之分。整个过程就好比流水线，思维上比较机械化。优缺点：优点复杂的问题流程化，将问题分解简化。缺点拓展性不好面向对象核心是对象。正式的来说对象是一个数据以及相关行为的集合面向对象是功能上指向建模对象通过数据和行为方式来描述交互对象...
2019-07-30 18:31:17
85
原创 模块-2
time模块import timetime.sleep(n) #休眠n秒time.time() #获取往当前时间戳。在python中，表示时间通常有三种方式：时间戳(timetamp)：表示1970.01.01 00:00:00 开始按秒计算的偏移量格式化的时间字符串(format string)python中时间日期格式化符号：%y 两位数的年份表示（00-99...
2019-07-28 22:19:34
233
原创 包
包包：包是通过使用‘.模块名’来组织python模块名称空间的方式。具体来讲，包就是一个包含__init__.py(前后都是双下划线）文件的文件夹。目的：用文件夹将文件/模块组织起来。注意：1.python3中，即是包中没有__init__.py也可使用2.而在python2中，如果没有__init__.py，肯定报错创建包的目的不是为了运行，而是为了被导入使用。包的本质依然是模...
2019-07-28 21:57:56
57
原创 函数
函数求和问题def sum_of_num(i1,i2): result = 0 for i in range(i1,i2+1): result += i return resultprint(sum_of_num(3,50))程序而言：函数就是对程序逻辑进行结构化或者程序化的一种编程方法。built-in function 内置函数—> B...
2019-07-28 19:05:43
111
原创 模块-os模块
模块(module)为了编写方便维护的代码，可以把不同功能的代码分组，保存在不同的文件里。这样每个文件包含的代码量就会比较少，更方便维护。在Python中，一个.py文件就可以称之为一个模块。即：包含相应功能的函数以及变量，以".py"为后缀名；模块可以为其他的程序引用，以使用该模块所对应的函数或者变量。使用的模块的优点：提高代码的可维护性提高代码的复用性可以导入...
2019-07-27 10:25:10
124
原创 错误和异常
错误和异常错误语法错误(syntax error)逻辑错误(logic error)执行期间错误(runtime error)for i in range(10) print(i)# for i in range(10)# ^#SyntaxError: invalid syntax python的语法分析器完成，...
2019-07-24 20:36:12
138
原创 python--step-05
文件操作常见的文件类型：txtcsvjsonhtmlmp4文件操作的流程打开----> open()读/写—>read()/write()关闭—>close()序号用途方法功能1打开/关闭文件f=open(file)打开文件f.close()关闭文件2读/写文件f.read([size])从文件中...
2019-07-22 21:40:33
385
原创 python--step-04
字典列表以外Python中使用最灵活的内置数据类型。是一种可变的数据类型。和列表的区别：列表有序，字典无序列表通过索引(偏移)访问元素，字典通过键(key)访问元素字典的基本格式：dic = {key1:value1,key2:value2,...,keyn:valuen}值可以取任意数据类型，但键不可以，必须为不可变类型，即key必须可哈希。可哈希—>不可变...
2019-07-19 17:28:53
301
原创 字符串、列表、元组的异同点
字符串、列表、元组的异同点1.介绍名称定义表示方法字符串(string)用引号引起来的一串字符单引号(’’)、双引号("")、三单引号(’’’ ‘’’)、三双引号(""" “”")列表(list)可以储存不同的数据类型数据的序列列表使用方括号括起来的[],每个元素以逗号分隔元组(tuple)由常量元素组成的数组，也就是组成的元素不可以修改。其内部的元...
2019-07-19 08:45:50
1202
原创 python--step-03
printhelp(print)Help on built-in function print in module builtins:print(...) print(value, ..., sep=' ', end='\n', file=sys.stdout, flush=False) Prints the values to a stream, or to sys.s...
2019-07-18 19:06:53
487
原创 python--step-02
Python流程控制if条件分支语句Python条件语句就是通过一条或者多条语句执行的结果（True/False）来决定执行的代码块if单分支语句 if 逻辑语句： 语句(块)if双分支语句if 逻辑语句1： 语句(块)1else: 语句(块)2python中，elif：else if 缩写为elif。if 逻辑语句1： 语句(块...
2019-07-17 20:18:02
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人