学习笔记
振兴东北
做过汽车行业
做过电商行业
做过港口物流
做过物联网
做过大数据
展开
-
设置HADOOP那些坑
运行spark程序时报错如下:20/03/30 13:36:20 WARN Shell: Did not find winutils.exe: {}java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki....原创 2020-03-30 15:39:00 · 1065 阅读 · 0 评论 -
在EMR上执行 java spark sql 读写 s3 csv文件,存储RDS mysql
java写了一段从AWS s3读取csv文件,并使用spark sql处理后结果保存到mysql数据库,并写入到s3上csv文件的代码如下:package org.example.JavaDemo;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark...原创 2020-03-25 19:04:20 · 817 阅读 · 0 评论 -
完整spark sql 访问 aws s3 文件并写入mysql数据库的代码
书接上篇,需求同上。将读取的本地文件路径改为aws s3路径,实现如下:1. 直接上pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven...原创 2020-03-18 08:55:34 · 1472 阅读 · 0 评论 -
IEDA编写的 java SparkAPI 读取CSV文件,用spark sql简单处理结果并保存到MySQL数据库的代码实现
实现的需求:1. 读csv将Tiler中含有T的数据过滤出来。2. 创建flag列,将201903>201902时flag值为up否则为down3. 将结果插入到MySql数据库。废话不多说,直接上代码:--------------------------------------------------------------------------------import o...原创 2020-03-11 12:04:52 · 546 阅读 · 0 评论 -
用IDEA java 编写的 spark读取csv文件代码
使用IDEA2019.3.3版本,jdk1.8创建maven项目直接上干粮:1.配置 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001...原创 2020-03-09 11:33:12 · 2451 阅读 · 0 评论 -
用IDEA scala 编写一个sparksql读写csv文件的代码
试着使用sparksql写一个读写csv文件。使用工具如下:1. IntelliJIDEA 2019.3.3 U E2. scala-sdk-2.11.123. jdk 1.8.0_91-------------------------------------------------------------------------------------------------...原创 2020-03-08 08:55:32 · 1791 阅读 · 0 评论 -
用树莓派做控制板,mysql 数据库出现超时问题的解决
使用树莓派做控制板控制停车场道闸,安装mysql数据库做为数据存储。超过8小时后出现数据库连接不上,异常显示为数据库超时未访问造成。调查发现mysql默认wait_timeout时间为8小时,超过8小时没有对数据库进行操作的话将将出现该问题。、解决办法2种:其一加大设置等待时间(1)命令设置,这种方式在重启设备后一般会失效,不建议使用。设置MySQL wait_timeout(原创 2017-01-13 08:10:54 · 986 阅读 · 0 评论 -
树莓派下的基本命令和安装MySQL vim等
user:pipw:respberrypwdlscd tomcat6/binsudo ./shutdown.shcd ..cd webappssudo rm -rf ssm_dzsudo rebootcd binsudo ./catalina.sh run---------------------------sudo vi原创 2016-07-12 16:48:08 · 2241 阅读 · 0 评论 -
树莓派安装mysql 及开通远程访问设置
很心累,终于好用了。user:pipw:respberrypwdlscd tomcat6/binsudo ./shutdown.shcd ..cd webappssudo rm -rf ssm_dzsudo rebootcd binsudo ./catalina.sh run------------------------原创 2016-06-01 09:48:39 · 1460 阅读 · 0 评论 -
xmlbeans-2.5.0 生成与xml结构相同的javabean对象
下载xmlbeans假如解压路径为:E:/tools/xmlbeans-2.5.0/要生成的定义文件及javabean对象路径为:E:/tools/xmlbeans-2.5.0/temp把要解析的xml文件offer_example.xml 放到E:/tools/xmlbeans-2.5.0/temp目录下。接下来执行以下步骤1:E:/tools/xmlbeans-2.5.0/bin>2:inst2xsd -design ss -simple-content-types smart -enumeration原创 2011-04-22 10:07:00 · 2518 阅读 · 0 评论 -
web 项目quartz集成
web.xml中添加 Listener.QuartzSchedulerListener --------------------------package Listener;import java.text.ParseException;import java.util.Map;import javax.servlet.Servlet原创 2016-04-12 11:22:27 · 1445 阅读 · 0 评论 -
Liferay Job quartz
job是我们系统中经常需要用到的东西,Liferay中已经集成了Quartz。要写一个自己的job非常方便。参考既存代码中的写法,只需要继承MessageListener接口,实现其receive(Message message)方法即可。1. 继承MessageListener接口public class MyMessageListener implements Me转载 2014-09-03 09:19:42 · 976 阅读 · 0 评论 -
解决PLSQL developer 乱码问题
使用PLsql developer 时遇到中文存储,尤其是对表字段的注释是中文的时候经常会显示乱码。查到如下的解决方法:1.检查服务器编码:执行SQL语法: select * from v$nls_parameters;如果不是中文则执行2 2.设置本地客户端编码:进入 我的电脑,属性,高级,环境变量,添加2项:LANG=zh_CN.GBK 和 NLS_LANG="原创 2010-03-25 21:39:00 · 33659 阅读 · 5 评论 -
JfreeChart根据柱子实际高度显示值在柱子里面,或是在柱子外面
//设置柱子上比例数值的显示,如果按照默认方式显示,数值为方向正常显示 //设置柱子上显示的数据旋转90度,最后一个参数为旋转的角度值/3.14 ItemLabelPosition itemLabelPosition= new ItemLabelPosition( ItemLabelAnchor.INSIDE1原创 2010-03-31 12:09:00 · 1658 阅读 · 1 评论 -
JfreeChart字体设置
/** * 配置字体 * @param chart JFreeChart 对象 */ private void configFont(JFreeChart chart){ // 配置字体 Font xfont = new Font("宋体",原创 2010-03-31 12:11:00 · 2911 阅读 · 1 评论 -
MySQL忘记root密码解决办法
<br />以下的文章主要向大家介绍的是MySQL忘记root密码的正确解决办法,我们大家都知道在实际操作中忘记密码是令人十分头疼的事情,以下就是针对这一问题给出的正确解决方案,望你在浏览之后会收获不小。<br /> MySQL忘记root密码解决办法:<br /> 在windows下:<br /> 打开命令行窗口,停止MySQL服务: Net stop MySQL<br /> 启动MySQL,一般到MySQL的安装路径,找到 MySQLd-nt.exe<br /> 来到该目录下:<br />转载 2010-11-04 16:23:00 · 417 阅读 · 0 评论 -
使用XAMPP遇到问题
<br />1.安装完成XAMPP之后,apache运行不了,后来到xampp 目录下运行了setup_xampp.bat 之后,解决。<br />2.开启MySql的时候提示<br />ERROR: MySql service not started[-1]<br />后来到mysql 目录下先后运行了 mysql_installservice.bat 和 mysql_uninstallservice.bat 之后问题得到解决。原创 2011-01-12 09:46:00 · 751 阅读 · 0 评论 -
SQL 通过主表查询出主表的所有子表
select a.table_name ,a.column_name ,b.table_name ,b.column_name from (select a.constraint_name,b.table_name,b.column_name,a.r_constraint_name from user_constraints a, user_cons_columns b WHER原创 2012-05-10 13:51:18 · 4197 阅读 · 0 评论 -
html中的特殊符号
html中的特殊符号符号说明编码 符号说明编码 符号说明编码"双引号"×乘号×转载 2013-03-03 09:19:35 · 1040 阅读 · 0 评论 -
MySQL远程访问的两个问题
安装MySQL后,不能远程访问,进行如下配置即可连接后,依然不能连接,报如下错误:1042 - Can't get hostname for your address解决方法在my.ini里增加如下两行重启MySQL即可。skip-name-resolvelower_case_table_names=1原创 2014-08-29 18:21:09 · 895 阅读 · 0 评论 -
iReport
iReport 属于Jaspersoft下属一个产品。 先介绍Jasperreport,Jasperreport是一个报表制作程序,用户需要按照它制定的规则编写 一个XML文件,然后得到用户需要输出的格式文件。它支持输出的文件格式包括PDF,HTML,XML,XLS,CVS等等。而iReport就是一个制 作Jasperreport的XML文件的可视化开发工具。通过iReport可视原创 2010-03-09 10:19:00 · 1221 阅读 · 1 评论