xm_QUQ的博客

django.db.utils.ProgrammingError: (1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQL s erver version for the rig'SET SESSION TRANSACTION ISOLATION LEVEL READ...

这里可能是版本问题，可以先看下自己装的py2neo是哪个版本的，py2neo V3有 NodeSelector这个函数，py2neoV4没有该函数了！换成NodeMatcher这个了替换以后这个问题就解决了...

  平时我们在将外部文件导入到hive表的过程中，要是原文件包含有中文的，导入就经常会出现乱码，这个时候我们可以事先把文件编码格式修改为utf8后再导入.1. 查看文件的当前的编码[hadoop@master exter_data]$ file --mime-encoding provcode.TXTprovcode.TXT: iso-8859-12. 转换为utf8格式iconv -...

Spark Streaming编程指南 手册检查点  流应用程序必须全天候运行，因此必须能够适应与应用程序逻辑无关的故障（例如，系统故障，JVM崩溃等）。为了实现这一点，Spark Streaming需要将足够的信息检查到容错存储系统，以便它可以从故障中恢复。检查点有两种类型的数据。元数据检查点 - 将定义流式计算的信息保存到容错存储（如HDFS）。这用于从运行流应用程序的驱动程序的节点...

伪分布式的方式安装kafka　　启动3台kafka Brokers安装过程1. 上传解压2. 配置以下配置都在此目录下 config/server.properties配置唯一标识符　　broker.id=9092配置Broker端口　　port=9092配置Broker运行主机名称host.name=bigdata-hpsk01.huadian.com 配置日志文件...

参考资料：scala中常用但其他语言不常见的符号含义Scala学习六：Scala中的特殊字符【Scala 一】Scala各种符号的含义=>（匿名函数）参考文档：scala => 用法 匿名函数=> 　匿名函数，在Spark中函数也是一个对象可以赋值给一个变量。Spark的匿名函数定义格式：(形参列表) => {函数体}所以，=> 的作用就是创建一个...

DagScheduler 和 TaskScheduler 的任务交接  spark 调度器分为两个部分， 一个是 DagScheduler， 一个是 TaskScheduler，  DagScheduler 主要是用来把一个 Job 根据宽依赖划分为多个Stage（阶段），  对于划分出来的每个 stage 都抽象为一个 TaskSet任务集 交给TaskScheduler 来进行进一步的...

数据结构RDD（类比于Scala中List）  数据存储在内存中，分区存储（partition）  对数据的处理：调用集合中高阶函数  shuffleRDD之间是有依赖的例如：stage1->stage2中那一个大的箭头就是一次shuffle其中stage1中又有小的及部分组成  宽依赖：产生shuffle,数据会存储在磁盘中    reduceByKey,groupBy...

spark框架是如何处理数据的Hadoop MapReduce框架　　并行计算的思想、分而治之的思想scala集合高阶函数　　处理数据的思想　　将 要分析的数据放到集合中去，然后调用集合的高阶函数处理数据spark是什么  统一分析引擎为海量数据处理  统一：什么样的数据都能处理分析，什么类型的数据都可以处理，实时，离线，流式都可以MapReduce map，reduce函数...

JDK8新特性可变参数 //可变参数和其他类型参数的传参 public static void method2(String str,int ... num){ //[I@4554617c System.out.println(num); for (int i : num) { System.out.pri...

原文地址：https://www.cnblogs.com/java-maowei/p/5950930.html目录第一部分：安装第二部分: windows配置git SSH服务第三部分: 配置全局用户名和邮箱第四部分: IDEA 配置...

https://redis.io/documentation一、项目必备Jar包 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</ver...

一、zookeeper的安装（单机）1.上传，解压上传： rz zookeeper-3.4.5-cdh5.7.6.tar.gz解压：tar -zxvf zookeeper-3.4.5-cdh5.7.6.tar.gz -C /opt/modules/2.修改配置文件在/opt/modules/zookeeper-3.4.5-cdh5.7.6/conf目录下为了方便，将文件名改了一下：m...

  在弄清楚这个问题之前，首先了解一下什么是分布式的CAP定理。  根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），最多只能同时三个特性中的两个，三者不可兼得。一、CAP的定义Consistency (一致性)：  “all nodes se...

一、redis安装1.Linux平台下安装C语言编辑环境sudo yum install gcc-c++2.上传解压上传： rz redis-3.2.5.tar.gz解压： tar -zxvf redis-3.2.5.tar.gz -C /opt/cdh5.7.6/3.编译安装编译要进入：cd redis-3.2.5目录下指定路径：make PREFIX=/opt/cdh5....

  首先，搞清楚商品与单品的区别。例如，iphone是一个单品，但是在淘宝上当很多商家同时出售这个产品的时候，iphone就是一个商品了。  商品：淘宝叫item，京东叫product，商品特指与商家有关的商品，每个商品有一个商家编码，每个商品下面有多个颜色，款式，可以有多个SKU。SPU = Standard Product Unit （标准化产品单元）  SPU是商品信息聚合的最小单...

分区在HDFS上的表现形式是一个目录， 分桶是一个单独的文件分区: 细化数据管理，直接读对应目录，缩小mapreduce程序要扫描的数据量分桶： 　1、提高join查询的效率（用分桶字段做连接字段）   　　　2、提高采样的效率作者：谦卑t来源：CSDN原文：https://blog.csdn.net/qq_42246689/article/details/84671926版...

分区表和分桶表区别如下： 1、分区使用的是表外字段，需要指定字段类型；分桶使用的是表内字段，已经知道字段类型，不需要再指定。 2、分区通过关键字partitioned by(partition_name string)声明，分桶表通过关键字clustered by(column_name) into 3 buckets声明。 3、分区划分粒度较粗，分桶是更细粒度的划分、管理数据，可以对表进行...

给脚本修改可执行权限

分区字段：月份，城市1. 分区表（load）1. 创建一个分区表CREATE TABLE tb_bj( name STRING, house_type STRING, house_area STRING, region STRING, floor_str STRING, direction STRING, total_price STRING, square_...