- 博客(50)
- 收藏
- 关注
原创 20230611_Hadoop_BigDataTools
HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其他系统挂载使用。获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。启动portmap(HDFS自带的rpcbind功能)(必须root用户权限执行)启动nfs(HDFS自带的NFS功能)(必须以Hadoop用户执行)在node2和node3执行:rpcinfo -p node1。停止系统的NFS相关进程(必须root用户权限执行)上传,下载,删除,追加内容。
2023-06-13 01:42:38 1089
原创 20230604_Hadoop命令操作练习
再hdfs中创建文件夹:/itcast/bigdata,将/itcast/itheima/hosts文件复制到/itcast/bigdata内。解决思路:查看 vim /export/server/hadoop/logs/ hadoop-hadoop-datanode-node3.log。将/itcast/itheima/hosts文件重命名为/itcast/itheima/myhost.上传/etc/hosts文件到hdfs的/itcast/itheima内。下载hdfs中上传的文件到本地任意目录。
2023-06-07 00:12:23 834
原创 20230529_Hadoop_集群操作命令
web界面又用权限问题只保留读权限,并不能删除文件,一般不建议配置删除权限,多数操作是做不了的。如果要以特权用户在浏览器中进行操作,需要配置如下内容到core-site.xml并重启集群。新版本:hdfs dfs [generic options]HDFS只有追加和删除文件两种功能。相关权限修改命令和Linux相同。二、HDFS文件系统的基本信息。上传文件到HDFS指定目录下。追加数据到HDFS文件中。复制/改名HDFS文件。查看HDFS文件内容。HDFS数据移动操作。HDFS删除文件操作。
2023-06-03 23:47:48 581 1
原创 HDFS部署常见问题总结
HDFS部署常见问题,Permission denied,WstxEOFException,Unexpected EOF,command not found
2023-05-29 08:24:47 734
原创 克隆Linux系统的重启网卡故障问题
failed to start lsb: bring up/down networking.Job for network.service failed because the control process exited with error code.
2023-05-25 10:21:39 310 1
原创 Python笔记:Pandas与Numpy关于空值的判断问题。
一、pandas中,pandas.DataFrame.isna() 等于 pandas.DataFrame.isnull(),两者都可以使用。二、numpy中,只能使用np.isnan()
2023-03-16 12:00:32 481
原创 商业数据分析思维
常用的商业数据分析思维:一、PEST分析法缺点 - 无法量化,过多的是认为主观判断优点 - 可以快速的评估大体市场环境,缩小分析范围P - Poiltical,政治环境E - Economic,经济环境S - Social,社会环境T - Technological,技术环境二、4P营销理论优点 - 常用于品牌打造与竞品营销缺点 - 难以及时收集并获得竞品数据,难以量化Product - 产品,注重开发的功能,要求产品有独特的卖点,把产品的功能诉求放在第一位。Price - 价格,根
2022-02-28 16:57:06 440
原创 Java - 基础
Java - 基础一、注释:单行注释://多行注释:/* */文档注释:/** */二、字面量小数,字符,字符串,布尔值,空值字符在程序中的写法。单引号 - 里面有且必须且只有一个字符‘\n’,’\t’ — 转义字符,算一个字符三、变量1、定义 >>> 数据类型 变量名称 = 初始值; - 装可变数据的盒子2、变量的使用注意事项a. 变量需要先声明在使用,int A = 23;b. 变量的有效范围是从定义开始的“}”截止,且在同一个范围不能定义两个同名
2022-02-17 22:17:10 251
原创 数据分析报告编写规范
Ⅰ、数据分析报告编写规范 - 资料来源:百度文库一份专业的数据分析报告,除了图表化呈现数据分析结果,还需要介绍此项分析的背景/目的,通过此次分析得到结论,以及结合业务知识给出的建议。在做数据报告之前,可以使用前面文章提到的5W2H原则,多问自己几个为什么?为什么要进行这项数据分析?(WHY)主要分析什么内容?(WHAT)数据分析报告要展示给谁看?(WHO)什么时候,在哪儿进行展示?(WHEN, WHERE)要如何进行数据分析?分析到什么什么程度/深度?(HOW, HOW MUCH)通过对自
2022-02-11 11:12:34 4094
原创 day20-requests获取数据库和html基础
========= requests获取数据库和html基础 =========第一节:requestsimport requests# 通过request给指定的网页发送get请求。response = requests.get('https://user.qzone.qq.com/1077323818?ADUIN=1370015822&ADSESSION=1603676382&ADTAG=CLIENT.QQ.5773_FriendInfo_PersonalInfo.0&
2020-10-27 00:11:48 411
原创 day19-类与继承作业
from math import pifrom random import shuffle"""1. 建立一个汽车类Auto,包括轮胎个数,汽车颜色,车身重量,速度等属性,并通过不同的构造方法创建实例。至少要求 汽车能够加速 减速 停车。 再定义一个小汽车类CarAuto 继承Auto 并添加空调、CD属性,并且重新实现方法覆盖加速、减速的方法。Tires, color, weight, speed, Accelerate, decelerate, stop"""class Auto():..
2020-10-26 08:58:38 443
原创 day17-面向对象基础总结1.0
在这里插入代码片=================================== day17 面向对象 =======================================第一节:编程思想:""""""# 1.面向过程编程(穷人)# 一遇到问题马上想到的是怎么用算法或者步骤(逻辑)直接解决问题。 - 逻辑# 2.函数式编程(小资)# 寻找有没有函数能直接解决这个问题,没有就自己定义一个。- 函数# 3.面向对象变成(土豪)# 一遇到问题马上想到有没有一个对象具有解决这
2020-10-22 09:51:50 88
原创 day17-面向对象作业
# 1. 定义一个矩形类,拥有属性:长、宽 拥有方法:求周长、求面积class rect(): def __init__(self, x, y): self.x = x self.y = y def perimeter(self): l = (self.x + self.y)*4 return f'"周长:{l}"' def acreage(self): s = self.x * self.y
2020-10-21 19:58:53 116
原创 day16-常用正则表达式笔记
========================== day16-正则表达式 =============================第一节:正则表达式""""""from re import fullmatch, search, findall# 什么是正则表达式:'''正则表达式是一种工具:一种专门用作字符串匹配的工具,它能够在某些情况下让字符串的处理变得非常简单。fallmatch(正则表达式, 字符串0) - 判断正则表达式是否和字符串完全匹配,如果不匹配,返回none。 '''
2020-10-21 09:18:20 211
原创 day15-常用的模块介绍
=========================== day15-常用的模块介绍 ================================第一节:常用模块介绍:""""""import math # 数学模块import cmath # 复数模块import random # 随机模块import os #import os.pathimport timeimport sysimport turtleimport csvimport smtplib# 1.常用
2020-10-19 20:22:54 70
原创 day13-包和文件操作
包和文件操作在本目录建立一个包,名字test_n,包下创建一个txt文档,名字test_n1.txt。第一节:包"""========= 包 ========="""# 什么是包'''包含__init__.py文件的文件夹就是包包用来对py文件(模块)进行分类或者封装'''# 怎样使用包中的函数'''1.导入方式1:import.包名.模块名2.导入方式2:import 包名.模块名 as 新名对'包名.模块名'进行重命名,命名通过'新名.变量'的方式使用变量3.导入方式
2020-10-17 10:40:01 108
原创 day14-json与异常
=json与异常=====第一节:json""""""# 1.什么是异常# 异常就是错误(程序报错就是程序出现异常)# 执行程序的过程中如果出现异常,程序会直接结束(实际上是线程结束)# 2.什么是异常捕获'''异常捕获就是让程序在出现错误的时候,不崩溃且继续执行不是任何异常都可以捕获的,只有在知道某段代码会出现异常但是又不能或者不方便通过修改代码来避免异常,这个时候可以使用异常捕获。'''# age = int(input('请输入年龄:'))# 3.怎么捕获异常'''方
2020-10-16 20:08:32 148
原创 day12 迭代器模块作业
写一个装饰器@tag要求满足如下功能:@tag(name='p')def render(text): # 执行其他操作 return text@tag(name='div')def render2(): return 'abc'print(render('Hello')) # 打印出: <p>Hello</p>print(render2()) # 打印出: <div>abc</div>def tag(..
2020-10-16 00:36:53 63
原创 day13-做一个登陆注册的页面
作业:也一个登陆注册的页面,要求已经注册过的账号不能再注册:已经注册的账号才能登陆,并且登陆的密码必须和注册的密码一致""""""path1 = r'.\01account.txt'path2 = r'.\02password.txt'def func1(): f1 = open(path1) f2 = open(path2) str1 = input('请输入账号;') str2 = input('请输入密码:') str3 = f'{f1.read()
2020-10-15 20:26:39 159
原创 day12 迭代器模块作业
写一个装饰器@tag要求满足如下功能:@tag(name='p')def render(text): # 执行其他操作 return text@tag(name='div')def render2(): return 'abc'print(render('Hello')) # 打印出: <p>Hello</p>print(render2()) # 打印出: <div>abc</div>为函数写..
2020-10-15 09:05:29 81
原创 day11-高阶函数与装饰器习题
为函数写一个装饰器,在函数执行之后输出 afterdef after(func): def test(*args, **kwarg): result = func(*args, **kwarg) print("after") return result return test@afterdef func(x, y): z = x + y print(z)func(5, 6)为函数写一个装饰器,把函数的返回..
2020-10-14 01:21:41 83
原创 day9 函数作业
利用列表推导式, 完成以下需求:a. 生成一个存放1-100中各位数为3的数据列表:结果为 [3, 13, 23, 33, 43, 53, 63, 73, 83, 93]list1 = [x for x in range(100) if x % 10 == 3]print(list1)b. 利用列表推到是将 列表中的整数提取出来:例如:[True, 17, "hello", "bye", 98, 34, 21] --- [17, 98, 34, 21]list1 = [True,..
2020-10-12 20:32:52 329
原创 day8-字符串全解
"""================================ 字符串 ==============================="""'''字符串是容器型数据类型,将'',"",'''''',""""""作为容器的标志里面的每一个基本符号都是字符串中的元素。字符串数不可变的(不支持增删改);字符串是有顺序的(支持下标操作)元素:引号里面的每个基本元素就是字符串的元素,又叫字符串'''""" 一、字符串 """# 1) 空串。s1 = ''s2 = ""s3 = ''''
2020-10-10 14:50:25 120
原创 day9-推导式与函数
day9 推导式与函数"""======================= 推导式:推导式式用来快速方便的产生列表或者字典的表达式 ============================="""'''列表推导式:列表 = [表达式 for 变量 in 序列]产生一个新列表,列表中的元素的就是每次循环对应的表达式结果。相当于:列表 = []for 变量 in 序列: 列表.append(表达式)'''list1 = [10 for x in range(3)]print(li
2020-10-10 09:08:18 85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人