- 博客(15)
- 收藏
- 关注
RSS订阅原创 MySQL随笔记
基础查询别名：# 使用ASselect name AS xxx from 表名；# 使用空格select name xxx from 表名；去重：distinctselect distinct xxx from 表名；+号的作用：/*java中的+号:①运算符，两个操作数都为数值型②连接符，只要有一个操作数为字符串mysql中的+号:仅仅只有一个功能:运算符select 100+90;两个操作都为数值型；则做加法运算select '123'+90;只要其他一方为字符型
2021-08-18 09:14:21
219
原创 启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换
启动集群时遇到WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.解决方案，在$HADOOP_HOME/sbin路径下编辑start-dfs.sh和stop-dfs.sh这两个文件。（root这里也可根据自己定义的用户）HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs
2021-08-10 23:17:06
3138
5
原创 2021-07-21
报错了2021-07-21 21:29:30,346 INFO retry.RetryInvocationHandler: java.net.NoRouteToHostException: No Route to Host from hadoop101/192.168.1.110 to hadoop102:8032 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由; For more details
2021-07-21 21:33:51
350
1
原创 在操作过程中遇到Attempting to operate on hdfs namenode as root报错
在操作中遇到Attempting to operate on hdfs namenode as root百度顺便记录一下HDFS格式化后启动dfs出现以下错误：[root@hadoop101 sbin]# start-dfs.shStarting namenodes on [master]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. A
2021-07-21 18:11:21
408
原创 Hadoop的三大核心组件
Hadoop的三大核心组件分别是：HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。YARN（Yet Another Resource Negotiator,另一种资源协调者）：Hadoop 的资源管理器。Hadoop MapReduce:分布式计算框架HDFS1. HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署在廉价的机器上的，适合存储海量数据的分布式文件系统。在HDFS中，1个文件会被
2021-07-19 16:23:40
9021
原创 python学习之代码实现
石头剪刀布#导入随机工具包import randomplayer = int（input（“请输入您的拳：石头（1）/剪刀（2）/布（3）：”））#电脑 随机 出拳computer = random.randint(1,3)print（“玩家选择的拳头是 %d - 电脑出 %d” %（player,computer））#比较胜负if（（player == 1 and computer == 2）or（player == 2 and computer == 3）or（player == 3
2021-07-18 12:55:09
97
原创 推荐系统和机器学习笔记
推荐系统根据实时性分类：离线推荐；实时推荐根据推荐原则分类：基于相似度推荐；基于知识推荐；基于模型推荐根据推荐是否个性化分类：基于统计推荐；个性化推荐根据数据源分类：基于人口统计学推荐；基于内容推荐；基于协同过滤推荐机器学习机器学习分类：有监督学习；无监督学习；强化学习监督学习的三要素：模型，策略，算法损失函数：用来衡量模型预测误差的大小数据集划分：训练集，验证集，测试集训练集用于训练模型；验证集用于模型选择；测试集用于学习方法评估。交叉验证分为：简单交叉验证；S折交叉验证；留一交
2021-07-17 23:49:26
129
1
原创 Python学习笔记
编译型语言：主在速度快解释型语言：主在跨平台性python 优点：简单，直观，易开发，开源特点：python源程序就是一个特殊格式的文本文件在终端中用python命令，执行xx.py每行代码负责完成一个动作python 2.X 默认不支持中文，如需，则使用python 3.Xcpython：是官方版本在C上实现的Jython：是在Java上实现的在终端中进入python，则用exit()退出...
2021-07-07 17:27:59
261
原创 linux学习笔记
补发2021-4-8放大字体：Ctrl+shift + = (Ctrl + +)缩小字体：Ctrl+shift + -常用Linux命令lslist查看当前文件夹下内容pwdPrint wrok directory查看当前所在文件夹cdchange directory切换文件夹touchtouch新建文件夹mkdirmake directory创建目录rmremove删除文件clearclear清屏command [-
2021-07-06 15:23:47
60
原创 hadoop笔记之HDFS
HDFS优缺点1. 优点1 )高容错性(1)数据自动保存多个副本。它通过增加副本的形式,提高容错性。(2)某一个副本丢失以后,它可以自动恢复。2 )适合处理大数据(1)数据规模:能够处理数据规模达到GB、TB、 甚至PB级别的数据;(2)文件规模:能够处理百万规模以上的文件数量,数量相当之大。3 )可构建在廉价机器上,通过多副本机制, 提高可靠性。2.缺点1 )不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。2 )无法高效的对大量小文件进行存储。(1)存储大量小文件的话,它会
2021-07-05 11:22:05
43
原创 WordCount 案例
WordCount 案例1. 创建在hadoop-2.9.2文件下面创建一个 wcinput文件夹.[hadoop@node01 hadoop-2.9.2]$ mkdir wcinput2. 在wcinput文件下创建一个 wc.input文件.[hadoop@node01 hadoop-2.9.2]$ cd wcinput.[hadoop@node01 hadoop-2.9.2]$ touch wc.input.3. 编辑wc.input文件.[hadoop@node01 hadoop-2.
2021-07-05 10:36:47
103
原创 Hadoop笔记之分布式集群
@TOC笔记（Hadoop）伪分布式进入cd /usr/local/hadoop/hadoop-2.9.2环境配置环境etc/hadoop/core-site.xml；etc/hadoop/hdfs-site.xml；配置集群hadoop-env.sh；(JAVA_HOME换路径)启动集群1.格式化NameNode(就一次，尽量少格式化)；bin/hdfs dfs namenode -format2.NameNodesbin/hadoop-daemon.sh start na
2021-07-04 12:14:40
100
原创 在Android模拟器中报以下错误 Launch canceled!
Failed to install MainActivity.apk on device ‘emulator-5554’: timeoutLaunch canceled!解决方法：window->preferences->Android->DDMS。把 ADB connection time out (ms):调大。如把原来默认的值5000改为10000.即默认是5s改为10s。然后重启模拟器。...
2020-12-03 13:37:56
2210
原创 cent7报Job for network.service failed because...错误
cent7报Job for network.service failed because…错误[root@localhost stu]# systemctl restart networkJob for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details.[roo
2020-11-30 19:05:34
498
1
原创 Markdown学习
Markdown学习标题三级四级字体hello，World！hello，World！ hello，World!hello，World！引用好好学习，走上人生巅峰 【>加回车就是引用效果】分割线图片![截图]（加图片地址）超链接[点击跳转到我的博客]（加链接地址）列表有序列表AB无序列表（减号加空格）AB表格名字性别生日yjm女2020.6.1代码Hellopublic...
2020-10-10 12:01:41
34
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人