2018年11月_lbship

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 spark2.4 on yarn安装

一、安装scala2.11注意官网的这句话：Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.也就是说spark2....

2018-11-29 14:53:55 2177 1

原创 SQL server2014创建用户、授权指定访问某张表

一、创建用户1.用可视化方法创建打开对象管理器-security-logins，右键new login选择SQL 验证、输入用户名和密码，密码过期这块根据需求更改就行。服务器角色这块默认public就行设置用户映射，这里把登录名和用户做了映射，名称相同，概念不同。授权选择对应的数据库，右键-找到属性-权限，分配对应权限 2.用命令行方式创...

2018-11-23 15:07:22 7284 3

原创 kettel7连接SQL server2014

一、kettel配置1.导包a.导入Hadoop和hive的jar包把hive相关的jar包放到kettel安装目录的E:\kettle\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib把Hadoop相关的jar包放到E:\kettle\data-integration\...

2018-11-19 16:04:53 479

原创 hive使用技巧：把很多小文件导入一张表中、显示在文件中位置和行数等。

1.使用MSCK命令导入输入到hive表我们有时候会遇到很多小文件需要导入到一张hive表里面，但是一个个导入非常麻烦。假设创建一个外部表，这个表在hdfs的order文件夹里，但是这个文件夹现在是空的。所以用select * 是没有数据的。CREATE EXTERNAL TABLE order( order STRING , time STRING)ROW FOR...

2018-11-18 12:36:59 1844

转载如何将HDFS文件系统挂载到Linux本地文件系统

本文转自https://cloud.tencent.com/developer/article/1078538，如果侵权请联系我删除。1.文档编写目的Hadoop支持通过NFSv3挂载HDFS文件系统到本地目录，允许用户像访问本地文件系统一样访问HDFS，对于普通用户来说大大的简化了HDFS的使用。该功能通过引入NFS Gateway服务实现，将NFS协议转换为HDFS访问协议。本篇文章主...

2018-11-18 10:55:35 4864

原创 Hive读取HDFS上面的数据和使用Squirrel客户端连接Hive

一、把数据从HDFS导入到hive的表里前面已经测试了利用Sqoop把数据从SQL Server导入到hdfs中，但是分成了好多小文件，这里有两种方法读取数据。第一种方法：创建内部表导数据1.建表在hive里面建立好对应的表格 create table sites(xxx int,xxx string,xxx timestamp) row format delimit...

2018-11-14 18:04:15 4344

原创 Sqoop1.99 从SQL Server导数据到HDFS

一、创建link1.创建mssql 的link 启动sqoop2-shell设置端口 set server --host master --port 12000 --webapp sqoop创建连接 create link -c generic-jdbc-connectorName: mssqlJDBC Driver Class: com.microsoft.sqlserv...

2018-11-12 17:03:04 553

原创 Tableau修改后台任务时间、进程数、添加IP

一、修改后台任务进程1. 打开cmd 命令窗口，cd到tableau server的安装目录，输入tabadmin stop等待服务器停止服务。打开 configure tableau server点击edit修改background task的数即可修改后台任务进程数。二、修改任务时间1. 在命令窗口cd到 server安装文件夹，...

2018-11-12 12:48:44 1193

原创 hive里面显示列名配置

当select * from xxx，不能显示列名的时候，可以到hive-site.xml里面添加<property><name>hive.cli.print.current.db</name><value>true</value></property><property><name&a

2018-11-06 18:30:51 1839

原创 spark1.6.1和2.4读取csv文件，转为为DataFrame和使用SQL

一、spark1.6读取csvspark2.0才开始源码支持CSV，所以1.6版本需要借助第三方包来实现读取CSV文件，有好几种方法，1.如果有maven的，到https://spark-packages.org/package/databricks/spark-csv下载对应scala版本的第三方jar包然后再maven的pom里面添加denpency，然后根据官网的用法用--packa...

2018-11-02 15:36:29 5685 2

原创 spark1.6使用：读取本地外部数据，把RDD转化成DataFrame，保存为parquet格式,读取csv格式

一、先开启Hadoop和spark略二、启动spark-shellspark-shell --master local[2] --jars /usr/local/src/spark-1.6.1-bin-hadoop2.6/libext/com.mysql.jdbc.Driver.jar1.读取spark目录下面的logs日志作为测试：val alllog=sc.textFile...

2018-11-01 15:08:22 4604