debimeng-CSDN博客

原创【Linux】Linux常用命令

Linux常用命令■返回上一次使用的目录：cd -■按时间倒序查看文件：ll -tr■实时查看日志：tail -f 文件名■查看文件最后100行：tail -n 100 文件名■vi或vim文件---搜索：（N可以在/和？之间切换）/pattern 向下搜索 n继续搜索下一个?pattern 向上搜索 n继续搜索上一个■编辑文档中的向上向下翻页：ctrl+f ctrl+b■筛...

2018-05-28 10:11:03 1755

原创【ORA】一些oracle-ora等错误记录

1、ORA-12560: TNS: 协议适配器错误场景：在cmd窗口输入：sqlplus "/as sysdba"想打开数据库时报的错；原因：没有启动Oracle服务器；解决：WIN+R，跳出运行窗口，输入"services.msc"，打开服务窗口；找到OracleServiceORACLE服务，查看是否为启动，右键启动即可。原因有三个1.监听服务没有起起来

2017-02-17 08:59:14 6571 1

原创【shell】统计文件行数

shell命令统计文件行数wc -l test1.sh

2021-07-04 23:05:41 2030

Hive常见的存储格式的区别与应用场景一、文件存储格式行存储和列存储1.TextFile2.sequencefile3.RC4.orc(工作中常用)5.parquet二、四种存储格式分析一、文件存储格式在HIVE中，常见的文件存储格式有TextFileParquetORCSequencefileRCAVRO注意：TextFile、Sequencefile 基于行存储，ORC、Patquet基于列存储行存储和列存储上图中左边为行存储，右边为列存储行存储的特点：

2021-06-27 21:45:44 2384

原创【scala报错】java.sql.BatchUpdateException: Incorrect string value: ‘\xE4\xBA\xA7\xE5\x93\x81...‘ for co

【scala报错】java.sql.BatchUpdateException: Incorrect string value: '\xE4\xBA\xA7\xE5\x93\x81...' for column 'job_name' at row 1一.场景在使用IDEA编写scala程序时，为了实现从CSV文件写入MYSQL数据库时报错。二.原因在程序里使用utf-8编码，但创建数据库时没有指定编码，如不指定编码会使用默认latin1编码，这时候与程序使用的utf-8编码冲突。三.解决解决

2021-01-25 06:49:50 3248

原创【Linux报错】VM虚拟机的CentOS7系统启动时报Generating /run/initramfs/rdsosreport.txt

一、场景：因Linux无故关机，重启后报错Generating /run/initramfs/rdsosreport.txt二、解决：解决步骤：查看/dev/mapper下有什么文件、执行xfs_repair、重启。查看/dev/mapper路径下的文件，重点查看root相关的文件，因这里是centos系统，一般会有一个centos-root文件，需要的就是这个文件ls /dev/mapper/执行命令xfs_repair /dev/mapper/centos-root -L

2021-01-17 16:49:42 8033 6

原创【123】05_Hive外部分区表score4的操作

【题目】外部分区表score4的操作，并说明为什么最后需要执行msck repair table score4【解答】--进入Hive环境[hadoop@node03 ~]$ hive--连接到db_hive数据库(已提前创建好数据库：create database db_hive;)hive (default)> use db_hive;--创建外部分区表score4hive (db_hive)> create external table scor..

2020-12-13 10:25:38 198

原创【Hive报错】FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

【场景】在hive3.1版本下执行以下语句报错--加载数据到桶表u_demo_bk中insert into table u_tab_bk_p select * from u_tab;可是插入到普通表和分区表的语句是能正常执行的。【原因】最后才知道是因为资源不足的问题，可是这数据量又不大，有可能hive的机制有关，本来它的场景就是为了解决大数据的问题。【解决】最后在主节点修改了yarn-site.xml文件，添加一个参数，即：关闭虚拟内存的检测，最后完整的内容如下：<co

2020-12-13 10:15:45 2085

原创【Linux报错】Cent os 7 Error downloading packages

背景：在运行yum -y install net-tool包是报错，一般情况下，如果网络连到外网的话，会使用网络上的yum资源安装，可这个时候报Cent os 7 Error downloading packages的错了。最后发现是DNS那里写错了，居然写到了DNS0=8.8.8.8，值是没有问题的，可不是从0开始的，是从1开始的解决：把对应的DNS0更改为DNS1即可，如图所示说明：8.8.8.8是一个IP地址，是Google提供的免费DNS服务器的IP地址...

2020-11-29 22:38:42 414

原创【Linux报错】修改SELINUXTYPE参数启动不了系统

背景：修改了一下selinux参数后，重启系统一直启动不成功后回想貌似有个参数修改错了，应该是修改SELINUX这个参数的，可修改到了SELINUXTYPE，罪过修改前的情况如下：[root@node10 ~]# cat /etc/selinux/config # This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforci

2020-11-28 22:28:42 1542 1

原创【Excel】函数：VLOOKUP

【Excel】函数：VLOOKUPVLOOKUP(lookup_value,table_array,col_index_num,range_lookup)第1个参数：查找的值第2个参数：查找的区域，建议使用绝对引用表示查找的区域，即类似"$A$2:$f$12"第3个参数：查找范围的第几列，不是excel默认的列数，从1开始第4个参数：精确或模糊匹配，true/1为近似匹配，false/0精确匹配注：只能从左往右查找，而不能从右往左的反向查找，即需要把与查找的值的列放在查找区域的第一列..

2020-11-16 20:53:09 156

原创【Excel】添加自动填充时指定的内容

【Excel】添加自动填充时指定的内容操作：文件 – 选项 – 高级 – 常规 – 编辑自定义列表 – 输入序列 – 添加 – 确定 – 确定例子：比如需要输入：周一，周二，周三，周四，周五，周六，周日系统默认的情况是没有这几个序列的，这时就可以手动设置输入周一，使用填充序列既可以自动获取这些指定的值注：如果不是每行一个值的话，需要用英文逗号...

2020-11-15 10:17:55 3559

原创【Leetcode数据库177】获取 Employee 表中第 n 高的薪水（Salary）

编写一个 SQL 查询，获取 Employee 表中第 n 高的薪水（Salary）。+----+--------+| Id | Salary |+----+--------+| 1 | 100 || 2 | 200 || 3 | 300 |+----+--------+例如上述 Employee 表，n = 2 时，应返回第二高的薪水 200。如果不存在第...

2020-02-23 11:43:08 1405

原创【Mysql报错】You have an error in your SQL syntax：rank

Mysql 5.7 rank报错场景：在mysql5.7版本执行rank函数时报错，报错如下：You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'select id,sala...

2020-02-23 09:50:39 1923

原创【SQL35】编号为 '3' 的人是编号为 '1'，'2' 和 '4' 的好友，所以他总共有 3 个好友，比其他人都多

在微信或者 QQ这样的社交应用中，人们经常会发好友申请也会收到其他人的好友申请。表 request_accepted 存储了所有好友申请通过的数据记录，其中， requester_id 和 accepter_id 都是用户的编号。写一个查询语句，求出谁拥有最多的好友和他拥有的好友数目。对于上面的样例数据，结果为：注意：保证拥有最多好友数目的只有 1 个人。好友申请只会被接受一次，所...

2020-02-17 19:49:39 313

原创【SQL34】计算至少连续两天登录的玩家数，把这个数字除以玩家总数

编写一个SQL查询，报告在首次登录后第二天再次登录的玩家的分数，四舍五入到小数点后两位。换句话说，你需要从首次登录日期开始计算至少连续两天登录的玩家数，把这个数字除以玩家总数。查询结果格式如下所示：Activity 表:Result 表:Result 表:解释：只有ID为1的玩家在第一天登录后才重新登录，所以答案是1/3=0.33解决：SELECT round((...

2020-02-16 19:59:11 1243

原创【SQL】查询部门有2个人或以上员工的部门号

查询部门有2个人或以上员工的部门号id payno1 lisi1 zhangsan2 wangmeng3 zhaoliu3 wuxia3 mengfang4 guodaxia5 guofurong结果如下：id13解决：方法一：SELECT DI...

2020-02-15 16:27:35 4127

原创【SQL33】求付款最早和最小付款的信息

有如下一张表Ordersid pdate payno1 2019-11-02 51 2019-11-02 31 2019-11-03 11 2019-11-03 32 2019-11-09 12 2019-11-09 4...

2020-02-14 19:22:45 315

原创【SQL32】行转列

行转列怎么把下面的表tb_tabyear month amount2017 1 1.12017 2 1.22017 3 1.32017 4 1.42018 1 2.12018 2 2.22018 3 2.32018 4 2...

2020-02-13 19:17:23 173

原创【SQL30】使用sum() over()求每个玩家累计玩数量

有如下一张activity表player_id device_id event_date games_played1 2 '2016-01-01' 51 2 '2016-05-02' 61 3 '2017-07-25' 13 ...

2020-02-12 20:04:29 786

原创【SQL29】购买了所有产品（5 和 6）的客户的 id

写一条 SQL 查询语句，从 Customer 表中查询购买了 Product 表中所有产品的客户的 id。示例：Customer 表：customer_id product_key1 52 63 53 61 ...

2020-02-11 19:32:29 1584 1

原创【SQL28】查询1课程比2课程成绩高的学生的信息及课程分数

有如下几张表：Studentsid sname sage sex1 '赵雷' '1990-01-01' '男'2 '钱电' '1990-01-01' '男'3 '孙风' '1990-01-01' '男'4 '李云' '1990-01-01'...

2020-02-10 19:35:12 8503 1

原创【SQL27】查询既学过'001'课程也学过'003'号课程的学生ID

有一张成绩表SC，表结构为SC(sid,cid,course)，分部对应是学生ID，课程ID和学生成绩，有如下测试数据sid cid course1 001 671 002 891 003 942 ...

2020-02-09 20:11:50 3293

原创【SQL26】查询订单数最多的客户(客户有可能超过一个)

表 orders 定义如下：order_id(订单编号)，customer_id(客户编号)，order_date(下单日期)有如下几条记录：order_id customer_id order_date1 1 2019-06-242 2 ...

2020-02-08 19:56:09 6559

原创【SQL25】查询出每门课都大于等于80分的学生姓名

用一条SQL 语句查询出每门课都大于80分的学生姓名，表格样式及数据如下studentname course score张三语文 81张三数学 75李四语文 76李四数学 90王五语文 81王五 ...

2020-02-07 20:53:07 1141

原创【SQL23】查询出每个项目中经验最丰富(experience_years最大)的员工

查询出每个项目中经验最丰富(experience_years最大)的员工有如下两张表projectpro_id emp_id1 11 21 32 12 4employeeemp_id name exp_year1 ...

2020-02-06 19:15:44 441

原创【SQL20_2】查询第二高的薪水

查询第二高的薪水编写一个 SQL 查询，获取Employee 表中第二高的薪水（Salary）id salary1 1002 2003 300例如上述 Employee 表，SQL查询应该返回 200 作为第二高的薪水。如果不存在第二高的薪水，那么查询应返回 null。结果如下：200解决：另一种思路，首先求出除了第一名...

2020-02-04 13:02:35 558

原创【SQL20】查询第二高的薪水

查询第二高的薪水编写一个 SQL 查询，获取Employee 表中第二高的薪水（Salary）id salary1 1002 2003 300例如上述 Employee 表，SQL查询应该返回 200 作为第二高的薪水。如果不存在第二高的薪水，那么查询应返回 null。结果如下：200解决：首先来看看常用排序函数之间的数...

2020-02-03 19:03:01 1098

原创【大数据】HDFS之DataNode工作机制

DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 DataNode与NameNode之间有一个心跳事件，心跳是每3秒一次，心跳返回结果带有NameNode给该D...

2020-02-02 19:07:05 347

原创【SQL19】查询出'001'课程分数大于'002'课程分数的学生学号

有一张成绩表SC，表结构为SC(sid,cid,course)，分部对应是学生ID，课程ID和学生成绩，有如下测试数据查询结果格式如下所示：scsid cid course1 001 671 002 891 003 942 001 952 002 ...

2020-02-01 19:36:48 5016

原创【SQL18】编写一个SQL查询，用于选择每种销售产品的第一年的产品ID、年份、数量和价格

编写一个SQL查询，用于选择每种销售产品的第一年的产品ID、年份、数量和价格查询结果格式如下所示：sales_tablesale_id product_id year quantity price1 100 2008 10 50002 100 ...

2020-01-31 14:00:33 1721

原创【SQL】从一张考勤表tb_cwa中找出员工每天的上班、下班打卡具体时间---第二篇

继上一篇https://blog.csdn.net/debimeng/article/details/104113932的思考假如该公司存放的打卡时间不仅仅上下班两次打卡，还包含了中午外出吃饭打的卡，就是说每个人每天打卡次数大于2次；这样的话上一篇写的SQL就获取不到准确的上下班时间，考勤表相关字段如下下：ID、NAME、NO、TIMEID NAME NO ...

2020-01-30 18:12:58 1504 1

原创【SQL】从一张考勤表tb_cwa中找出员工每天的上班、下班打卡具体时间

从一张考勤表tb_cwa中找出员工每天的上班、下班打卡具体时间考勤表相关字段如下下：ID、NAME、NO、TIMEID NAME NO TIME1 zhangsan 1001 2020-01-01 08:34:402 lisi 1002 2020-01-01 08:39:293 wa...

2020-01-30 12:21:01 1681 1

原创【Mysql报错】输入mysqld --install报错Install/Remove of the Service Denied!

Mysql输入mysqld --install报错Install/Remove of the Service Denied!场景：因之前还原过系统，导致mysql服务没有了，但是再D盘的相关文件还存在，于是尝试重新注册一个服务然后执行mysqld --install输入命令后返回Install/Remove of the Service Denied!解决：第一：需要在Mysq...

2020-01-29 17:27:55 2930 3

原创 SQL获取用户第一次登陆的设备号

SQL获取用户第一次登陆的设备号有如下一张表p_id d_id event_date g_p1 2 2019-08-01 51 2 2019-09-01 82 3 2020-01-01 13 1 2019-03-01 93 5 2020-01-...

2020-01-28 11:35:25 1345

原创【Hive】使用临时表保留全量数据

hive使用临时表保留全量数据需求：在hive环境下，a表为全量表，b表为增量表(只有当天跑的数据)，假设需要将a表中有的但b表中没有的数据仍然保留在a表，而且需要将b表中有的但a表中没有的数据追加到a表方案一：使用左外关联先将a表中有的数据但b表中没有的数据过滤出来，然后再将b表的数据与过滤出来的数据合并---------------------创建数据(在oracle演...

2019-12-26 22:38:12 1176

原创【hive优化】SQL优化之where：将最大数据量的条件放在where最后

HiveSQL优化之where：将最大数据量的条件放在where最后今天在hive2测试了一下查询400多万的数据量，两个条件分别为account和calc_dateselect count(*) from tb_test where account = '123456' and calc_date = '2019-09-01'和select count(*) from tb_test ...

2019-10-24 22:55:05 2251 2

原创【财务_会计3_1】会计科目的概念

第一节会计科目的概念1、会计科目对会计要素的具体内容进行分类核算的项目2、会计科目的分类（分类表见附录1）按反映的经济内容分类：会计要素分类：资产负债所有者权益权益收入费用利润会计科目分类：资产类负债类所有者权益类损益类成本类共同类3、按...

2019-10-24 22:37:20 335

转载【大数据】Sqoop简介

Sqoop简介Sqoop(发音：skup)是SQL-to-Hadoop的缩写，是一款开源的工具，主要用来在Hadoop和关系数据之间交换数据，可以改进数据的数据的互操作性。通过Sqoop，可以方便地将数据从MySQL、Oracle、PostgreSQL等关系数据库中导入Hadoop(比如导入到HDFS、Hbase或Hive中)，或者将数据从Hadoop导出到关系数据库，使得传统关系数据...

2019-10-20 20:42:44 1178