2021年04月_开快车的小吕

原创 rank()函数使用

-- 每人的前三次最高消费select *, rank() over (partition by name order by cost desc ) rkfrom business;select *from ( select *, rank() over (partition by name order by cost desc ) rk from business )t1where rk<=3;...

2021-04-27 10:10:59 299

原创 Hive常用函数

常用日期函数unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp("2020-10-28",'yyyy-MM-dd');from_unixtime：将时间戳转为日期格式select from_unixtime(1603843200);current_date：当前日期select current_date;current_timestamp：当前的日期加时间select current_t

2021-04-27 10:09:12 153

原创 Hive中窗口函数的使用

-- hive中sql执行顺序 -- 1.from -- 2.join on 或 lateral view explode() t_tmp as c_tmp -- 3.where -- 4.group by -- 5.聚合函数如sum() count(*) -- 6.having -- 7.select 中若包含over（）开窗函数，执行完非开窗函数后select等待执行完开窗函数， -- 然后执行select完，开窗函数通过表数据进行分区和排序，跟select查询中的字段是

2021-04-27 09:47:57 589 1

原创 User: xxx is not allowed to impersonate xxx 解决方案

<property> <name>hadoop.proxyuser.lv.hosts</name> <value>*</va

2021-04-23 20:58:27 3261

原创 MySql初始化问题

[lv@hadoop102 conf]$ schematool -initSchema -dbType mysql -verboseException in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved by the specs.

2021-04-23 17:03:00 409 1

原创自动导入源码

或者在对应的pom.xml 文件中打开 terminal，执行 mvn命令：mvn dependency:sources//源码mvn dependency:resolve -Dclassifier=javadoc//文档

2021-04-18 10:53:17 80

原创 Hadoop运行jar包出现Please check whether your etc/hadoop/mapred-site.xml contains the below configuration

[2021-04-18 10:04:16.881]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMasterPlease

2021-04-18 10:29:21 2554 1

原创 HDFS-api文件操作

package com.lv;import com.sun.xml.internal.ws.api.pipe.NextAction;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.codehaus.jackson.annotate.JsonSubTypes;import org.junit.Test;import java.io.IOException;import j

2021-04-17 10:45:21 74

原创 hadoop节点搭建

## vim core-site.xml文件内容如下：<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>  <property> <name>fs.defaultFS</name> &lt.

2021-04-16 10:01:58 98

原创 2021-04-12

关机&重启命令shutdown -h now [立刻关机] shutdown -h 1 [1 分钟后，关机]shutdown -r now [立刻重启] shutdown –r 2 [2 分钟后，重启]halt [立刻关机] reboot [立刻重启]sync [把内存的数据同步写入磁盘] 在重启和关机前，通常需要先执行不管是重启系统还是关闭系统，首先要运行 sync 命令，把内存中的数据写到磁盘中su root [切换到root]exit [退出roo

2021-04-12 22:06:12 89

原创 DbUtils增删改查的实现

package DButils;import org.apache.commons.dbutils.DbUtils;import org.apache.commons.dbutils.QueryRunner;import org.apache.commons.dbutils.ResultSetHandler;import org.apache.commons.dbutils.handlers.BeanHandler;import org.apache.commons.dbutils.handler

2021-04-08 17:03:22 132

原创 JDBC通用查找基础实现

import java.lang.reflect.Field;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.ResultSetMetaData;/** * @author * @date 2021/4/6 10:24 */public class CustomersSelectGeneral { public stati

2021-04-06 14:45:23 218 2

原创 JDBC链接的其他方式

@Test //方式2，利用反射来调用Driver 并获取实例 public void test2() throws Exception{ Class<?> aClass = Class.forName("com.mysql.cj.jdbc.Driver"); Object o = aClass.newInstance(); Driver driver = (Driver) o; String url = "jdb

2021-04-05 15:15:08 146 1

原创 JDBC链接中的问题

项目场景：JDBC链接时出现的问题问题描述：正常运行的代码import org.junit.Test;import java.sql.Connection;import java.sql.Driver;import java.sql.SQLException;import java.util.Properties;/** * @author * @date 2021/4/5 10:34 */public class ConnectionTest { @Test

2021-04-05 12:02:57 348

原创 lambda表达式

import org.junit.Test;import java.io.PrintStream;import java.util.function.Consumer;/** * @author * @date 2021/4/4 16:18 */public class LambdaTest { @Test public void test1(){ //匿名实现类 Consumer<String> consumer=new Co

2021-04-04 16:29:56 53

原创反射调用方法的使用

@Test public void methodtest() throws IllegalAccessException, InstantiationException, NoSuchMethodException, InvocationTargetException { Class<User> userClass = User.class; User user = userClass.newInstance(); //设置调用方法名和.

2021-04-03 21:37:14 112

原创通过反射获取类中的属性

import org.junit.Test;import java.lang.reflect.Field;/** * @author * @date 2021/4/3 20:23 */public class ReflectionTest2 { @Test public void filedtest() throws Exception { //获取class类 Class<User> userClass = User.class;

2021-04-03 20:37:35 86

原创 TCP网络编程try-catch版

import org.junit.Test;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.InetAddress;import java.net.ServerSocket;import java.net.Socket;/** * @author * @date 2021/4/2 19:42 */public class TCPTest

2021-04-02 20:08:40 206

原创 TCP网络编程

//因方便查看，所以未使用try-catch，将评论中补充import org.junit.Test;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.InetAddress;import java.net.ServerSocket;import java.net.Socket;/** * @author * @date 2021/4/2 1

2021-04-02 20:02:15 81

原创 ObjectOutputStream对象序列化

import org.junit.Test;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;/** * @author * @date 2021/4/2 14:46 * 对象的序列化 */public class ObjectOutputStream { @Test public void test1() { java.io.ObjectOutp

2021-04-02 15:01:43 168 1

原创 Buffered缓冲流的使用

import org.junit.Test;import java.io.*;/** * @author * @date 2021/4/1 20:17 */public class BufferReaderTest { @Test public void buffertest(){ BufferedReader bufferedReader= null; BufferedWriter bufferedWriter= null; t

2021-04-01 20:27:47 129

原创 FileReader关于read两种重载的方法

import org.junit.Test;import java.io.File;import java.io.FileReader;import java.io.IOException;/** * @author * @date 2021/4/1 15:19 */public class FileReaderTest { @Test public void test1() throws IOException {// 指定文件路径 Fi

2021-04-01 15:42:54 300 2

weixin_45673116的博客