- 博客(44)
- 收藏
- 关注
RSS订阅原创 20230611_Hadoop_BigDataTools
HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其他系统挂载使用。获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。启动portmap(HDFS自带的rpcbind功能)（必须root用户权限执行）启动nfs(HDFS自带的NFS功能)（必须以Hadoop用户执行）在node2和node3执行：rpcinfo -p node1。停止系统的NFS相关进程（必须root用户权限执行）上传，下载，删除，追加内容。
2023-06-13 01:42:38
1063
原创 20230604_Hadoop命令操作练习
再hdfs中创建文件夹：/itcast/bigdata，将/itcast/itheima/hosts文件复制到/itcast/bigdata内。解决思路：查看 vim /export/server/hadoop/logs/ hadoop-hadoop-datanode-node3.log。将/itcast/itheima/hosts文件重命名为/itcast/itheima/myhost.上传/etc/hosts文件到hdfs的/itcast/itheima内。下载hdfs中上传的文件到本地任意目录。
2023-06-07 00:12:23
803
原创 20230529_Hadoop_集群操作命令
web界面又用权限问题只保留读权限，并不能删除文件，一般不建议配置删除权限，多数操作是做不了的。如果要以特权用户在浏览器中进行操作，需要配置如下内容到core-site.xml并重启集群。新版本：hdfs dfs [generic options]HDFS只有追加和删除文件两种功能。相关权限修改命令和Linux相同。二、HDFS文件系统的基本信息。上传文件到HDFS指定目录下。追加数据到HDFS文件中。复制/改名HDFS文件。查看HDFS文件内容。HDFS数据移动操作。HDFS删除文件操作。
2023-06-03 23:47:48
551
1
原创 HDFS部署常见问题总结
HDFS部署常见问题，Permission denied，WstxEOFException，Unexpected EOF，command not found
2023-05-29 08:24:47
724
原创 克隆Linux系统的重启网卡故障问题
failed to start lsb: bring up/down networking.Job for network.service failed because the control process exited with error code.
2023-05-25 10:21:39
287
1
原创 Python笔记：Pandas与Numpy关于空值的判断问题。
一、pandas中，pandas.DataFrame.isna() 等于 pandas.DataFrame.isnull()，两者都可以使用。二、numpy中，只能使用np.isnan()
2023-03-16 12:00:32
465
原创 商业数据分析思维
常用的商业数据分析思维:一、PEST分析法缺点 - 无法量化，过多的是认为主观判断优点 - 可以快速的评估大体市场环境，缩小分析范围P - Poiltical，政治环境E - Economic，经济环境S - Social，社会环境T - Technological，技术环境二、4P营销理论优点 - 常用于品牌打造与竞品营销缺点 - 难以及时收集并获得竞品数据，难以量化Product - 产品，注重开发的功能，要求产品有独特的卖点，把产品的功能诉求放在第一位。Price - 价格，根
2022-02-28 16:57:06
415
原创 Java - 基础
Java - 基础一、注释：单行注释：//多行注释：/* */文档注释：/** */二、字面量小数，字符，字符串，布尔值，空值字符在程序中的写法。单引号 - 里面有且必须且只有一个字符‘\n’，’\t’ — 转义字符，算一个字符三、变量1、定义 >>> 数据类型 变量名称 = 初始值; - 装可变数据的盒子2、变量的使用注意事项a. 变量需要先声明在使用，int A = 23;b. 变量的有效范围是从定义开始的“}”截止，且在同一个范围不能定义两个同名
2022-02-17 22:17:10
240
原创 数据分析报告编写规范
Ⅰ、数据分析报告编写规范 - 资料来源：百度文库一份专业的数据分析报告，除了图表化呈现数据分析结果，还需要介绍此项分析的背景/目的，通过此次分析得到结论，以及结合业务知识给出的建议。在做数据报告之前，可以使用前面文章提到的5W2H原则，多问自己几个为什么？为什么要进行这项数据分析？（WHY）主要分析什么内容？（WHAT）数据分析报告要展示给谁看？（WHO）什么时候，在哪儿进行展示？（WHEN, WHERE）要如何进行数据分析？分析到什么什么程度/深度？（HOW, HOW MUCH）通过对自
2022-02-11 11:12:34
4059
原创 day20-requests获取数据库和html基础
========= requests获取数据库和html基础 =========第一节：requestsimport requests# 通过request给指定的网页发送get请求。response = requests.get('https://user.qzone.qq.com/1077323818?ADUIN=1370015822&ADSESSION=1603676382&ADTAG=CLIENT.QQ.5773_FriendInfo_PersonalInfo.0&
2020-10-27 00:11:48
396
原创 day19-类与继承作业
from math import pifrom random import shuffle"""1. 建立一个汽车类Auto，包括轮胎个数，汽车颜色，车身重量，速度等属性，并通过不同的构造方法创建实例。至少要求 汽车能够加速 减速 停车。 再定义一个小汽车类CarAuto 继承Auto 并添加空调、CD属性，并且重新实现方法覆盖加速、减速的方法。Tires, color, weight, speed, Accelerate, decelerate, stop"""class Auto():..
2020-10-26 08:58:38
427
原创 day17-面向对象基础总结1.0
在这里插入代码片=================================== day17 面向对象 =======================================第一节：编程思想：""""""# 1.面向过程编程(穷人)# 一遇到问题马上想到的是怎么用算法或者步骤（逻辑）直接解决问题。 - 逻辑# 2.函数式编程(小资)# 寻找有没有函数能直接解决这个问题，没有就自己定义一个。- 函数# 3.面向对象变成(土豪)# 一遇到问题马上想到有没有一个对象具有解决这
2020-10-22 09:51:50
84
原创 day17-面向对象作业
# 1. 定义一个矩形类，拥有属性：长、宽 拥有方法：求周长、求面积class rect(): def __init__(self, x, y): self.x = x self.y = y def perimeter(self): l = (self.x + self.y)*4 return f'"周长：{l}"' def acreage(self): s = self.x * self.y
2020-10-21 19:58:53
109
原创 day16-常用正则表达式笔记
========================== day16-正则表达式 =============================第一节：正则表达式""""""from re import fullmatch, search, findall# 什么是正则表达式：'''正则表达式是一种工具：一种专门用作字符串匹配的工具，它能够在某些情况下让字符串的处理变得非常简单。fallmatch(正则表达式， 字符串0) - 判断正则表达式是否和字符串完全匹配，如果不匹配，返回none。 '''
2020-10-21 09:18:20
205
原创 day15-常用的模块介绍
=========================== day15-常用的模块介绍 ================================第一节:常用模块介绍：""""""import math # 数学模块import cmath # 复数模块import random # 随机模块import os #import os.pathimport timeimport sysimport turtleimport csvimport smtplib# 1.常用
2020-10-19 20:22:54
67
原创 day13-包和文件操作
包和文件操作在本目录建立一个包，名字test_n，包下创建一个txt文档，名字test_n1.txt。第一节：包"""========= 包 ========="""# 什么是包'''包含__init__.py文件的文件夹就是包包用来对py文件(模块)进行分类或者封装'''# 怎样使用包中的函数'''1.导入方式1:import.包名.模块名2.导入方式2:import 包名.模块名 as 新名对'包名.模块名'进行重命名，命名通过'新名.变量'的方式使用变量3.导入方式
2020-10-17 10:40:01
105
原创 day14-json与异常
=json与异常=====第一节：json""""""# 1.什么是异常# 异常就是错误（程序报错就是程序出现异常）# 执行程序的过程中如果出现异常，程序会直接结束（实际上是线程结束）# 2.什么是异常捕获'''异常捕获就是让程序在出现错误的时候，不崩溃且继续执行不是任何异常都可以捕获的，只有在知道某段代码会出现异常但是又不能或者不方便通过修改代码来避免异常，这个时候可以使用异常捕获。'''# age = int(input('请输入年龄：'))# 3.怎么捕获异常'''方
2020-10-16 20:08:32
137
原创 day12 迭代器模块作业
写一个装饰器@tag要求满足如下功能:@tag(name='p')def render(text): # 执行其他操作 return text@tag(name='div')def render2(): return 'abc'print(render('Hello')) # 打印出: <p>Hello</p>print(render2()) # 打印出: <div>abc</div>def tag(..
2020-10-16 00:36:53
60
原创 day13-做一个登陆注册的页面
作业：也一个登陆注册的页面，要求已经注册过的账号不能再注册：已经注册的账号才能登陆，并且登陆的密码必须和注册的密码一致""""""path1 = r'.\01account.txt'path2 = r'.\02password.txt'def func1(): f1 = open(path1) f2 = open(path2) str1 = input('请输入账号；') str2 = input('请输入密码：') str3 = f'{f1.read()
2020-10-15 20:26:39
149
原创 day12 迭代器模块作业
写一个装饰器@tag要求满足如下功能:@tag(name='p')def render(text): # 执行其他操作 return text@tag(name='div')def render2(): return 'abc'print(render('Hello')) # 打印出: <p>Hello</p>print(render2()) # 打印出: <div>abc</div>为函数写..
2020-10-15 09:05:29
80
原创 day11-高阶函数与装饰器习题
为函数写一个装饰器，在函数执行之后输出 afterdef after(func): def test(*args, **kwarg): result = func(*args, **kwarg) print("after") return result return test@afterdef func(x, y): z = x + y print(z)func(5, 6)为函数写一个装饰器，把函数的返回..
2020-10-14 01:21:41
79
原创 day9 函数作业
利用列表推导式, 完成以下需求：a. 生成一个存放1-100中各位数为3的数据列表:结果为 [3, 13, 23, 33, 43, 53, 63, 73, 83, 93]list1 = [x for x in range(100) if x % 10 == 3]print(list1)b. 利用列表推到是将 列表中的整数提取出来:例如：[True, 17, "hello", "bye", 98, 34, 21] --- [17, 98, 34, 21]list1 = [True,..
2020-10-12 20:32:52
322
原创 day8-字符串全解
"""================================ 字符串 ==============================="""'''字符串是容器型数据类型，将'',"",'''''',""""""作为容器的标志里面的每一个基本符号都是字符串中的元素。字符串数不可变的(不支持增删改)；字符串是有顺序的(支持下标操作)元素：引号里面的每个基本元素就是字符串的元素，又叫字符串'''""" 一、字符串 """# 1) 空串。s1 = ''s2 = ""s3 = ''''
2020-10-10 14:50:25
114
原创 day9-推导式与函数
day9 推导式与函数"""======================= 推导式：推导式式用来快速方便的产生列表或者字典的表达式 ============================="""'''列表推导式：列表 = [表达式 for 变量 in 序列]产生一个新列表，列表中的元素的就是每次循环对应的表达式结果。相当于：列表 = []for 变量 in 序列: 列表.append(表达式)'''list1 = [10 for x in range(3)]print(li
2020-10-10 09:08:18
82
原创 容器回顾与总结
容器回顾已经总结：1.列表表示方式：[元素1, 元素2, 元素3, …]容器特点：可变，有序元素要求：任何类型的数据、可以重复元素的增删改查： 增：append、insert、extend 删：del、remove、pop、clear 改：列表[下标] = 新值 查：查单个、切片、遍历1.元组表示方式：容器特点：不可变，有序元素要求：任何类型数据，可以重复元素的增删改查： 查：和列表一样、变量1,变量2,… = 元组、*变量1,变量2,… = 元组1.字典表示方式
2020-10-09 20:46:23
98
原创 day7-集合和字符串作业
输入一个字符串，打印所有奇数位上的字符(下标是1，3，5，7…位上的字符)例如: 输入**'abcd1234 ’ ** 输出**‘bd24’**str = 'abcd1234'str1 = ''n = 1for x in str: if n & 1 == 1: str1 += x n += 1print(str1)输入用户名，判断用户名是否合法(用户名长度6~10位)username = input("请输入用户名：")if 6 <..
2020-09-30 09:03:33
245
原创 day6-字典习题
1.声明一个字典保存一个学生的信息，学生信息中包括: 姓名、年龄、成绩(单科)、电话、性别(男、女、不明)student = {'name':'bluestar', 'age':'18', '成绩':'120', '电话':18882307609, '性别':'男'}print(student)2.声明一个列表，在列表中保存6个学生的信息(6个题1中的字典) a.统计不及格学生的个数 b.打印不及格学生的名字和对应的成绩 c.统计未成年学生的个数 d.打印手机尾号是8的学生的名字
2020-09-29 09:07:45
834
原创 python元组总结
1.什么是元组元组就是不可变的列表元组是容器型数据类型，将()作为容器的标志，里面多个元素用逗号隔开：（元素1，元素2，元素3…）元组不可变（不支持元素的增删改查）：元组是有序的（支持下标操作）元素：任何类型的数据，并且可以重复t1 = (18, 23, 98, 10)print(type(t1[1]), type(t1))可以有空元组t2 = ()只有一个元素的元组:(元素)如果一个元素中有且只有一个元素，那么唯一的元素后面必须加逗号。t3 = (45,)list1 = [
2020-09-28 19:21:35
630
原创 day4-列表习题
1.已知一个数字列表，求列表中心元素。num = [78, 67, 52, 78, 99, 23]n = len(num)if n % 2 == 0: x = n // 2 y = n // 2 -1 print(num[x], num[y])else: print(num[n//2])2.已知一个数字列表，求所有元素和。num = [78, 67, 52, 78, 99, 23]total_num = 0for s in num: total_num += sprint
2020-09-28 02:13:15
326
原创 python 循环结构 第三天
python中的循环有两种：for循环和while循环第一节1.for循环语法：for 变量 in 序列: 循环体说明：a. for/in - 关键字；固定写法b. 变量 - 可以是任意变量；一般写一个新的变量c. 序列 - python中容器型数据类型，例如：字符串、列表、字典、元组、集合、迭代器、生成器、range等d. 冒号 - 固定写法e. 循环体 - 和for保持一个缩进的一条或者多条语句；循环体就是需要重复执行的代码块
2020-09-24 21:07:01
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人