WCL0520的博客

window pycharm下用spark连接hive操作数据 一、 在/opt/soft/spark234/conf下导入hive-site.xml 二、 把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars 三、 sbin下 ./start-all.sh 启动spark服务 bin下 ./pyspark 开启软件 四、 执行命令 df = spark.sql(“select * from dws_ev

一、项目打包方式 Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。 注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码： <plugin> <groupId>org.scala-tools</groupId>

一、进去hadoop安装目录 [root@vwmaster hadoop]# pwd /opt/bigdata/hadoop/hadoop260/etc/hadoop 二、继上步，编辑hadoop-env.sh [root@vwmaster hadoop]# vi hadoop-env.sh export JAVA_HOME=/opt/bigdata/java/jdk180 export HADOOP_PID_DIR=/opt/bigdata/hadoop/hadoop260/data/pids 三、编

错误： java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 如果在执行hadoop项目时出现此处问题，主要有三个方法： 方法一： 在hadoop的安装目录下：E:\hadoop\hadoop260\bin，增加两个文件winutils.exe和hadoop.dll，然后重新执行即可。 方法二： 方法一如果解决不了问题，那也有可能是你hadoo

一、Elasticsearch基础概要 1、非关系型数据库 （1）元素 库：索引 index 一个index中只能有一个type 表：类型 type （2）特点：倒排索引 ① we are family ② we will lost the only chansce ③ are you happy ④ lost meybe not mean lost we 1-1 2-1 are 1-2 3-1 family 1-3 will 2-2 lost 2-3 4-1 4-5

注：在虚拟机下安装Linux系统此处不再赘述，详情可见以往博客 一、在下载及解压文件之前建议建好文件夹，方便存放，统一管理 如：（1）opt/install 安装源文件     （2）opt/bigdata 安装目录 二、压缩+解压缩 （1）压缩格式 ① zip / unzip ② gzip / gunzip ③ tar ④ tar.gz ⑤ tar.xz （2）文件解压 ① xxx.tar tar -xvf xxx.tar -C path ② xxx.tar.gz tar -zxvf xxx.t

一、Mybatis 1、半自动化ORM框架 （1）编写SQL语句 手写 （2）参数动态映射 自动 2、Mybatis配置 （1）依赖jar包 ① mysql driver <!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</

一、新建web项目并配置（简易版，详情可见以往博客） 二、创建成功后进行项目配置 1.Project Structor中配置如下 2.Add Configuration 中配置tomcat，配置如下：（详细步骤见以往博客） 三、如果有提前写好的，或需要用的maven包提前导入pom.xml，完成准备工作,位置如下图所示，具体maven包可以该网站获取：https://mvnrepository.com/ 四、在web.xml中配置web版本，以及导入相关maven包的基础配置，比如此处，我会添加侦

普通 jar 包的导出 1.点击 file 中的project.structor=>选择Artifacts=>+=>选择 jar+=>选择from modules with dependencies 2.如果你的 jar 包具有主函数main，即为可执行jar包则需要在下图所示处，输入主函数位置，点击右边文件夹，选择主函数即可 3.选择好后点击OK，切记下一步需要先应用在OK 4.导出成功后点击Builder=>build artifacts=>build/rebu

JSP基础知识简介   一、JSP：Java Server Page：HTML+JAVA ------以.isp结尾   二、java.web     1.MVC     （1）model：数据持久化 base(jdbc)(面向所有表) + dao(jdbcseal)（面向单张表） + biz(business)     （2）control：控制层 servlet/control （数据+页面）     （3）view：视图层 xxx.jsp     三者控制关系入下图所示：   三、servlet