kebexue的博客

##解决方案：将import Image 改为from PIL import Image

#hadoop插入mysql数据报错###Caused by: java.io.IOException: Incorrect string value: ‘\xF2\xB6\xAB\xB1\xEF\xBF…’ for column ‘author’ at row 1解决方案：// final String lines = new String(value.getBytes(),0,value.getLength(),“GBK”);参考链接：https://blog.csdn.net/tornadoj

修改hadoop-env.sh中的export HADOOP_CLIENT_OPTS="-Xmx2048m"重新启动集群

多个文件输出时报错：06:20:30,429 [pool-3-thread-1] WARN org.apache.hadoop.fs.FileUtil - Failed to delete file or dir [F:\projects\output_temporary\0_temporary\attempt_local722729032_0001_r_000000_0.data-r-00000.crc]: it still exists.06:20:30,430 [pool-3-thread-1

参考地址：https://www.cnblogs.com/quchunhui/p/10132877.html点击help->about查看对应的版本信息插件下载地址：http://plugins.jetbrains.com/plugin/1347-scala

java.sql.SQLException: No suitable driver found for jdbc:mysql://127.0.0.1:3306/telecomdata?useUnicode=true&characterEncoding=UTF-8解决方案：将相应的mysql的驱动包在$JAVA_HOME/jre/lib/ext/下即可

缓存通过Session查询数据库实体时，会将实体对象保存到内存中，下一次通过同一个session查询时，不在从数据库查询数据，而是从缓存中获取一级缓存sessionsession的get方法session缓存，会话级缓存API：evict清除会话中的某个对象clear： 清除会话中的所有对象当用creatQuery、迭代器查询数据时，会将数据保存到内存中，当下次调用时依然还是会从缓...

-》下载hibernate版本：hibernate-release-5.4.3.Final.zipEsclipse开发添加相应的hibernate库到工程中具体库如下：该目录下我的全选了，有些是用不到的，懒的一个一个的选，jpa这个库我跟网上的不一样，怀疑是版本的问题新建表：create table grade( gid int primary...

概念网址：http://phoenix.apache.org/Apache Phoenix通过结合两者的优点，在Hadoop中为低延迟应用程序启用OLTP和运营分析：具有完整ACID事务功能的标准SQL和JDBC API的强大功能通过利用HBase作为其后备存储，来自NoSQL世界的后期绑定，读取模式功能的灵活性Apache Phoenix与其他Hadoop产品完全集成，如Spark，Hive...

序列化：系列化就是把内存当中的对象，转换成字节序列以便于存储和网络传输反序列化：就是将收到的字节序或硬盘的持久化数据转换成内存中的对象java的序列化Serializable不适用java的序列化的原因： java的序列化时一个重量级的序列化框架 一个对象被序列化会附带大量的消息hadoop的序列化 Writable...

概念 是一个基于分布式文件存储的开源数据库系统。查看数据库show databases；查看表show tables；服务端mongod客户端mongo查看数据db.douban_movie.findOne()与关系型数据库的比较解释说明-》创建数据库use 数据库名 如果不存在，自动创建，如果存在自动切换-》创建集合（表）db...

概念Django是一个高级Python Web框架，鼓励快速开发和干净，实用的设计。由经验丰富的开发人员构建，它可以解决Web开发的大部分麻烦，因此您可以专注于编写应用程序而无需重新发明轮子。它是免费和开源的安装方式1：pip install Django==1.11方式2：下载源码后进入到根目录执行： python setup.py install创建命令： Django-admin...

获取Python的注册码：http://idea.lanyus.com/设置模板启动PyCharmFile ->Settings -> Editor ->File and Code Templates。添加具体的模式如下：设置pep8规范执行优化右键python文件，点击ExternalTool->autopep8 自动格式化...

安装配置启动服务客户端启动对数据的操作获取配置CONFIG GET *“dbfilename”“dump.rdb”“requirepass”“xxxxx1129”“masterauth”“”“cluster-announce-ip”“”“unixsocket”“”“logfile”“”“pidfile”“/var/run/redis_6379.pid”...

概述Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地输入输入：采集各种样式、大小和来源的数据过滤器过滤器：实时解析和转换数据Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：1）利用 Grok 从非结构化数据中派生出结构2）从 IP 地址破译出地理坐标3）将 ...

维基百科、GitHub-站内实时搜索

SparkStreaming概述Spark Streaming可以轻松构建可扩展的容错流应用程序1)便于使用2) 容错3)Spark集成计算框架log-》flume-》kafka-》sparkStreaming-》hdfs || mysql -》hive||hbaseDstream数据源来源于分布式多台机器，多台计算Dframe 属于离散数据流，在streaming中 以Dst...

概述： sparkSQL是spark用来处理结构化数据的一个模块 提供了一个编程的抽象叫DataFrame作为分布式的查询引擎作用1）处理结构化数据2）先将非机构化的数据转换为结构化数据编程模型1）sql select * from user；2）DateFrame （DSL）HQL:将sql转换为mr任务SparkSql将sql转换为rdd任务特点：容易整合Spar...

图中介绍1主要是回调函数，2回调函数处理的事情，3 发给消费者的数据消费则API：生产者：消费者：拦截器：实现一个接口：ProducerInterceptorkafka-stream接口实现：Processor的方法数据清洗，针对生产的数据金子那个增、减数据...

-》Scala简介-》Scala 版本：scala-2.12.4语音 编译 执行 扩展名 java javac java java scala scalac scala scala -》数据类型java scala byte/char/short/int/long/float/double/boolean/...