自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 论坛 (4)
  • 问答 (3)
  • 收藏
  • 关注

原创 主机重启后VM虚拟机NAT无法联网

2020-12-25 16:06:24 11

原创 python 使用scrapy运行爬虫时出现“ModuleNotFoundError: No module named ‘protego‘”

安装Anaconda打开Anaconda prompt命令行进入Anaconda3安装目录下的envs目录创建名为scrapyws的conda虚拟环境,并在其中安装scrapyconda create -n scrapyws scrapy激活虚拟环境conda activate scrapyws运行爬虫scrapy crawl 爬虫名称报错:ModuleNotFoundError: No module named ‘protego‘解决办法:1. 打开Anacon

2020-12-06 23:43:01 157

转载 Q_OBJECT 构造函数未定义的引用

Q_OBJECT undefined reference toQ_OBJECT 构造函数未定义的引用

2018-04-17 16:32:09 979

转载 小端字节序和大端字节序

转自达内培训资料以32位整数:0x12345678为例,该数据位数从左至右依次降低小端字节序:数据的低位在低地址,高位在高地址。0x12345678的小端字节序为:[0x78, 0x56, 0x34, 0x12],地址从左至右依次升高大端字节序:数据的高位在低地址,低位在高低值。0x12345678的大端字节序为:[0x12, 0x34, 0x56, 0x78],地址从左至右依次降低...

2018-04-16 15:54:34 1140

原创 Spark实现MySQL到HBase数据迁移的Scala代码

Spark实现MySQL到HBase的数据迁移,其效率比Sqoop快数十倍。该代码识别MySQL表的主键作为HBase的行键,遇到联合主键则将主键用下划线连接后作为HBase的行键。1. 下图为工程目录结构2. MySQL2HBase.scalaimport java.sql.{DriverManager, SQLException}import org.apache.hadoop.hbase...

2018-04-09 16:21:12 995 2

原创 sqoop2配置过程

sqoop2

2017-11-13 10:06:59 538

原创 Spark SQL和Spark Thrift Server安装部署

安装SparkSpark部署 下载spark-2.2.0-bin-hadoop2.7.tgz解压 $ tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz配置环境变量 $ vim ~/.bashrc添加如下内容: export SPARK_HOME=/home/cloud/cloud/spark-2.2.0

2017-09-21 11:29:21 9693

原创 Hive-2.1.1使用MySQL作为metastore配置过程

1. 上传apache-hive-2.1.1-bin.tar.gz并解压# mkdir /root/Hive# cd /root/Hive# rz通过弹出的“打开”对话框从宿主机上选择已经下载好的apache-hive-2.1.1-bin.tar.gz# tar -xzvf apache-hive-2.1.1-bin.tar.gz2. 配置profile# vim /e

2017-09-11 11:18:14 483

转载 C++读写HBase代码

1. C++读写HBase代码1.1 HbaseClient.cpp#include "THBaseService.h"  #include   #include   #include   #include #include   #include   using namespace std;  using namespace apache::thrift

2017-09-11 11:14:05 2542

原创 C++读写HDFS代码

1. C++读写HDFS工程HadoopClient代码1.1 operate_hdfs.h:#ifndef __OPERATE_HDFS_H#define __OPERATE_HDFS_H #include  class operatehdfs{public:   operatehdfs();    voidoperatehdfs_conn(char

2017-09-11 11:12:21 2595

原创 Centos7 联网和不联网 安装MySQL的方法

1. 不联网安装MySQL的方法:参考http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.htmla) 安装新版mysql之前,我们需要将系统自带的mariadb-lib卸载# rpm -qa|grep mariadbmariadb-libs-1:5.5.52-1.el7.x86_64# rpm -e mariad

2017-09-11 11:03:53 1365

原创 HBase 1.2.4 部署

HBase

2017-09-11 10:24:34 380

原创 Hadoop2.7.3部署

hadoop

2017-09-11 10:21:34 1769

原创 qt中出现对构造函数和析构函数未定义的引用

原因:不小心把一个类的头文件删除了,又重新添加了一份,新添加的头文件自动添加在.pro文件中HEADERS+=的最后,与之前的顺序不一致,导致当使用该类声明对象的时候,该类的头文件还没有编译,所以Qt编译器在编译输出栏上提示对构造函数和析构函数未定义的引用

2017-05-08 10:11:25 3110 1

转载 LPCTSTR和CString的关系

类型理解  LPCTSTR类型:  L表示long指针 这是为了兼容Windows 3.1等16位操作系统遗留下来的,在win32中以及其他的32位操作系统中, long指针和near指针及far修饰符都是为了兼容的作用。没有实际意义。  P表示这是一个指针  C表示是一个常量  T表示在Win32环境中, 有一个_T宏  STR表示这个变量是一个字符串详细释义

2016-09-26 15:00:20 268

空空如也

beeline执行sql报错,而hive执行sql正常

发表于 2017-05-22 最后回复 2019-04-19

C++通过thrift访问hive

发表于 2017-05-11 最后回复 2017-10-24

libhdfs的hdfsWrite上传文件最大为4G,怎么办?

发表于 2017-05-08 最后回复 2017-10-24

hbase启动十几秒后,HMaster和HRegionserver自动关闭

发表于 2017-01-06 最后回复 2017-01-16

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除