- 博客(18)
- 收藏
- 关注
RSS订阅原创 Entering emergency mode. Exit the shell to continue.
group3.obj : error LNK2005: _main already defined in test.obj Debug/test.exe : fatal error LNK1169: one or more multiply defined symbols found原因：main函数已经在test中定义，我定义的test是一个工程，一个工程只能有一个源文件，然而我放了两个源文件。在c语言中，一个工程只能含一个main函数在Java中，一个工程可以存放多个源文件解决：当你写完一
2021-08-21 21:30:53
259
原创 Entering emergency mode. Exit the shell to continue.
CentOS7虚拟机开机时出现问题：找出问题认真看代码，尝试输入journalctl查看日志，点击进入页面，按空格键即可跳到最后一页查看问题所在，发现有标红的，就是说明这里出现了问题。错误原因虚拟机上显示的问题有failed to mount /sysroot....解决问题通过查资料和虚拟机显示，问题多种多样，但此方法可以解决大多数问题，输入命令：xfs_repair -v -L /dev/dm-0-L选项指定强制xfs_repair将日志归零。然后....
2021-05-15 15:42:44
2932
原创 大数据分析方法项目实战（一）---认识数据分析
数据分析1.概念 是指用适当的统计方法对手机来的大量第一手资料和第二手资料进行分析，提取有用信息并形成结论，对数据加以详细的研究和概括总结的过程。2.目的与意义 在于把隐没在一大批看起来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。3.功能简单的数学运算 统计 快速傅里叶变换 平滑和滤波 基线与峰值分析在统计学领域中，划分为描述性统计分析、探索性数据分析以及验证性数据分析。探索性数据分析：侧重于发现新的特征。验证性...
2021-04-18 21:01:47
652
原创 Python（一）如何获取列表中的各元组的字段？
目标列表：result = [(1, 'Thomas', 'Male'), (2, 'Catalina', 'FeMale'), (3, 'lili', 'Male'), (4, 'cici', 'Male'), (5, 'zhangsan', 'FeMale'), (6, 'mimi', 'Male')]统计列表中的元组个数print('一共有%s个元组'%len(result))结果将每个元组中的第1个字段取出b=[str(i[1])for i in result]print(b)
2021-04-09 14:45:49
3358
原创 sqoop导出数据
在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。HIVE/HDFS到RDBMS$ bin/sqoop export \--connect jdbc:mysql://hadoop102:3306/company \--username root \--password 000000 \--table staff \--num-mappers 1 \--export-dir /user/h
2021-04-01 16:16:33
138
原创 sqoop导入数据
在sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。RDBMS到HDFS开启MySQL服务server start mysql在Mysql中新建一个数据库一张表并插入一些数据$ mysql -u用户名-p密码mysql> create database company;mysql> create table company.staff(id int(4) primary
2021-04-01 16:12:22
578
原创 hive内部表和外部表的相互转换
先查看表的类型hive> desc formatted student;Table Type: MANAGED_TABLEhive> desc formatted teacher;Table Type: EXTERNAL_TABLE2.修改内部表student为外部表hive> alter table student set tblproperties(‘EXTERNAL’=‘TRUE’);hive> desc format.
2021-03-31 15:05:15
588
原创 hive创建外部表
理论因为表是外部表，所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。案例实操hive> create external table if not exists teacher(ename string,eid int);查看表hive> desc formatted teacher;观察结果知道：Table Type: EXTERNAL_TABLE 向外部表中导入数据hive>..
2021-03-31 14:57:02
270
原创 hive创建内部表
内部表理论1.默认创建的表都是所谓的管理表，有时也被称为内部表。2.因为这种表，Hive会（或多或少地）控制着数据的生命周期。3.Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。4. 当我们删除一个管理表时，Hive也会删除这个表中数据。创建内部表建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_nam
2021-03-31 14:42:38
2665
原创 flask框架（一）
Template在路由中用：return render_template(‘xxx.html’,变量1=值1,变量2=值2,… …)把参数传递给html文件在html中用{{变量名}}来表示变量名所对应的值。当然 输入的变量也可以用些过滤器去处理下。语法如下：{{变量|过滤器(参数)}}from flask import Flask, render_templateapp = Flask(name)@app.route(’/’) def index():name = ‘aaa’passw
2021-03-29 21:25:58
136
原创 flask连接本地数据库
安装pymysql在pycharm中：File->Settings->Project Interpreter,搜索Flask-pymysql,点击下方安装建立连接运行代码
2021-03-29 18:25:18
229
原创 MySQL增删改查常用命令
增：insert删：delete改：update查：show或select连接数据库mysql -h[主机地址] -u[用户名] -p[用户密码]修改密码mysqladmin -u[用户名] -p[旧密码] -password[新密码]增加新用户grant select on 数据库. * to 用户名@登录主机 identified by /“密码/”;windows启动MySQLnet start mysql虚拟机启动MySQLservice start mysq
2021-03-29 16:43:57
1014
4
原创 虚拟机查看MySQL端口号
先进入MySQLmysql -hhadoop102 -uroot -p再查看端口号show variables like ‘port’;
2021-03-29 09:28:24
1768
原创 Cannot connect to “localhost“. The server time zone value ‘�й���ʱ��‘ is unrecognized or represents
Cannot connect to “localhost”.The server time zone value ‘�й���ʱ��’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the ‘serverTimezone’ configuration property) to use a more specifc time zo
2021-03-26 15:16:30
3489
4
原创 Invalid configuration: a shared edits dir must not be specified if HA is not enabled
21/03/12 11:10:52 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.(FSNamesyst
2021-03-12 11:27:22
5720
原创 [ERROR] Terminal initialization failed； falling back to unsupported
在启动hive的时候通常会出现这个错误。原因：在hadoop的lib文件下存在老版本jline-0.9.94.jar包。解决办法：进入目录/opt/module/hadoop-2.6.0/share/hadoop/yarn/lib把jline-0.9.94.jar删掉即可，一般只有一个。完事以后直接启动hive就成功了...
2021-03-10 18:13:39
248
原创 java.net.ConnectException: 拒绝连接； For more details see: http://wiki.apache.org/hadoop/ConnectionRefu
java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused可能是没睡醒的原因，一打开虚拟机就想着把hive启动起来，结果，出现面前的错误让我猝不及防，仔细看看Exception in thread “main” java.lang.RuntimeException: java.net.ConnectException: Call From hadoop102
2021-03-10 16:10:04
12312
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人