- 博客(18)
- 收藏
- 关注
RSS订阅原创 学习大数据hadoop的第六天
小练习：利用Wordcount计数操作要求：step1:在home目录下创建文件wordcount.txt,内容如下：hello ZWWhello ljrhello zzzhello jjjhello rrrhello wwwhello ljrhello zwwhello lirhello wwwhello lalalastep2:在hdfs创建存放wordcoun...
2019-09-04 16:41:49
130
原创 学习大数据hadoop的第五天
根据之前四天的学习做一个小练习创建一个文件，利用shell脚本输出文件中的内容，然后进行每分钟监控1、创建dashuju.sh文件[root@zww home]#touch dashuju.sh2、输入内容[root@zww home]# vi dashuju.sh#!/bin/bashecho "大数据一班" >> /home/dashuju.txt3、执行追加...
2019-08-30 17:57:10
192
原创 学习大数据hadoop的第四天
一、crontab配置1、命令功能通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。2、安装yum install crontabs服务操作说明：service crond start ## 启动服务service cr...
2019-08-29 20:02:00
103
原创 学习大数据hadoop的第三天
一、大数据介绍1.大数据：海量数据的处理2.大数据用处：用在需要对海量数据进行处理的任何场合3.大数据学的内容：（1）学分布式系统的思想（2）学框架4.Linux & Shell编程基础HadoopMapreduce5.数据的处理流程：收集数据—>web服务器，打日志–flume，sqoop–>hadoop(hdfs)----->数据的清理----->...
2019-08-29 19:41:25
209
原创 学习大数据hadoop的第二天
一、Jdk环境安装解压jdk[root@hadoop1 apps]#tar -zxvf jdk-8u181-linux-x64.tar.gz配置环境变量[root@hadoop1 jdk1.8.0_181]# vi /etc/profile在最下面输入1.export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_1812.export PATH=$JA...
2019-08-29 19:16:42
80
原创 学习大数据hadoop的第一天
一、hadoop集群搭建先建好三个虚拟机：hadoop1、hadoop2、hadoop3再利用xshell连接三台虚拟机在xshell中进行操作：上传文件到hadoop1,下载一个lrzsz包：[root@hadoop1 hadoop]# yum -y install -y lrzsz1.首先在/home新建文件夹[root@hdp01 home]# mkdir -p /home/...
2019-08-29 17:45:49
138
1
原创 python第七次作业
爬取清华大学的网站import requestsimport threadingimport reclass university(threading.Thread): def __init__(self, start_, end_,lock): threading.Thread.__init__(self) self.headers = { ...
2019-08-23 17:54:53
121
原创 学习python的第八天
多线程的知识归类1.线程通信强化import threadingimport timedef goevent(): e = threading.Event() # 事件 def go(): for i in range(10): e.wait() # 等待事件，线程卡顿，等待set消息，只调用一次 e.cl...
2019-08-23 17:47:27
78
原创 学习python的第七天
一、多线程多线程并不是同时进行的，创建多线程（1）用函数；（2）基于类1.多线程的基本构造import _thread # 多线程import win32apidef show(i): # 0 代表系统，你真帅代表内容，来自JOKER代表标题，0代表窗口类型0，1，2，3 mystr = win32api.MessageBox(0,"你真帅","来自Joker的问候"...
2019-08-22 17:18:31
169
原创 学习python的第六天
一、进程的知识点总结1.创建multiprocessingimport multiprocessingimport osdef info(title): print(title) print(__name__) print('father', os.getppid()) print('self', os.getpid()) print('------...
2019-08-21 16:49:45
154
原创 python第五次作业
作业1：import jsonimport requestsimport multiprocessingdef txt(path): song_play_url_list = [] song_name_list = [] with open(path,mode='r') as f: res = f.readlines()[0].strip('\n'...
2019-08-20 21:11:37
99
原创 学习python的第五天
一、Python进阶1.基本知识点（1）代码编排：缩进4个空格，禁止空格与Tab混用；行长80：防止单行逻辑过于复杂（2）import：不要使用from xxx import *;顺序：标准库—第三方库—自定义库；单行不要import多个库；模块内用不到的不要去import（3）空格：（4）适当添加空行：（5）注释：（6）命名：（7）字符串拼接尽量使用join方式：速度快，...
2019-08-20 16:53:24
82
原创 python第四次作业
1.def getPentagonalNumber(): for i in range(1,101): a=i*(3*i-1)/2 if i%10==0: print("\n") else: print("%d"%a,end=" ")getPentagonalNumber()2.def...
2019-08-19 21:51:39
251
原创 学习python的第四天
一、面向对象编程基础1.面向对象思想的三大要素：封装、继承、多态。2.类和对象：（1）简单的说，类是对象的蓝图和模板，而对象是类的实例。（2）定义类格式：class class_name(object): def __init__(self):#self不一定是一个参数，它作为一个印记。重写函数__init__,所有类必须经过 self.a=1000 def A(self):#函...
2019-08-19 16:35:12
123
原创 python第三次作业
zhengshu=0fushu=0sum=0num=1while num!=0: num=int(input("请输入您的数字："))#输入0退出 if num >0: zhengshu +=1 else: fushu +=1 sum += numprint("输入的正数个数为：%d"%zhengshu)pri...
2019-08-17 16:59:36
110
原创 学习python的第三天
一、函数的参数1.在Python中，函数的参数可以有默认值，也支持使用可变参数，所以Python并不需要像其他语言一样支持函数的重载。有默认值的一定要放在最后。举例：def ljr(name1,name="lll"): print("%s你真好"%name)ljr()这样编写后输出的是name1和name；name="lll"是默认值，若放在前面则不输出name1。2.下水道：*a...
2019-08-16 19:12:29
119
原创 学习python的第二天
一、循环结构1.循环结构的应用场景有了循环结构我们就可以轻松的控制某件事或者某些事重复、重复、再重复的发生。在Python中构造循环结构有两种做法，一种是for-in循环，一种是while循环。2.for-in循环for i in range( ? )print(i)// 注释： i可以任意定义 ( )中的 ？是自己给定的范围 如：(0,10,2)—>0代表起始数，10 代表...
2019-08-15 17:31:26
64
原创 学习python的第一天
一、Visual Studio Code的操作1.Ctrl+N—>新建文件 Ctrl+S—>保存文件(文件名+.py）输入print（“内容…”）打印出" “中所输内容运行方式1：右键选择在终端中运行python文件运行方式2：在黑屏终端（cmd）中找到内容所属文件：cd 文件名 —>文件名+python+新建的文件名运行方式3：在黑屏终端（cmd）中输入ipyt...
2019-08-14 17:24:36
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人