编程规则
小东升职记
人生陆远只有忘的甘静才会有江莱。
展开
-
java中System.getProperty()
// java版本号System.out.println("java版本号:" + System.getProperty("java.version")); // Java提供商名称System.out.println("Java提供商名称:" + System.getProperty("java.vendor")); // Java提供商网站System.out.println("Java提供商网站:" + System.getProperty("java.vendor.url")); .原创 2021-05-18 18:58:49 · 342 阅读 · 0 评论 -
SSM 上传多个文件也可以上传多张图片
本文章属于转载,博主链接:https://blog.csdn.net/weixin_42451089/article/details/85683142 html 代码块:<form class="layui-form" id="formreset" enctype="multipart/form-data"> <div class="layui-form-item"&转载 2019-01-12 10:20:57 · 662 阅读 · 0 评论 -
一套完整的webserver+Flume+kafka+storm整合方案
实时处理系统:(Flume+Kafka+Storm+hbase+mysql) 为什么要记录访问日志的行为?通过日志我们可以得到网站页面上的访问量,网站的黏性,推荐用户行为分析,是指在获得网站访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站的归类,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营...原创 2019-01-17 20:28:09 · 445 阅读 · 0 评论 -
离线处理网站的PV,UV方案
流程:导入数据hdfs(flume-->hdfs) 建立hive表 把hdfs上的数据导入到hive表里面 数据清洗-->(先有一个数据清洗表) 数据分析,数据统计-->存放一张表里面 把hive表的数据导出到,mysql中 把mysql里面的㐇给查出来,展示到页面何为PV?PV(page view)访问量,即页面浏览量或点力量,衡量网站用户访问的网页数量;...原创 2019-01-17 21:04:39 · 412 阅读 · 0 评论 -
基于scala下actor编程的WordCount
注解很详细,最主要是要明白wordcount这个统计模型,demo虽小,思想很深厚原创 2019-01-07 20:28:26 · 140 阅读 · 0 评论 -
Kafka
1:Kafka?在流式计算中,kafka一般用来缓存数据,Storm通过消费kafka的数据进行计算Apache Kafka是一个开源消息系统,由scala写成的。 kafka是一个分布式消息队列:生产者、消费者的功能。他提供了类似JMS的特性,但是在设计实现上完全不同,此外他并不是JMS规范的实现。 kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接...原创 2018-12-20 20:39:48 · 216 阅读 · 0 评论 -
Spark整合Hive
通过hive来创建一定格式的表,将相应的数据上传到hdfs相应的hive目录下,实现用spark的SQL风格进行读取里面的数据Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所以有SparkSql的应用而生,他是将sparksql转换成RDD,然后提交到集群执行,执行效率非常快!...原创 2019-01-14 20:17:27 · 1470 阅读 · 0 评论 -
SparkStreaming整合Kafka
<properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <encoding>UTF-8</en...原创 2019-01-15 20:50:24 · 314 阅读 · 0 评论 -
基于SparkStreaming的Window Operations
Window Operations有点类似于Storm中的State,可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext}object Wind...原创 2019-01-15 21:35:56 · 265 阅读 · 0 评论 -
解决图片上传服务器,重启服务器不能获取图片问题
图片上传服务器后,我们会发现图片被我们定义的名字后,Tomcat会自动给图片名称再次改变,为的就是防止名称冲突问题,但是我们重启Tomcat后,会发现不能获取我们已经长传的图片了,在最近的独自写项目中,查找各种资料终于解决了 public Map<String, Object> changeTouXiang(String username,HttpServletRequest...原创 2019-02-01 14:50:58 · 1433 阅读 · 0 评论 -
利用ajaxfileupload.js实现文件上传
1.首先 <script type="text/javascript" src="../js/ajaxfileupload.js"></script>2.前端<form class="am-form am-form-horizontal" id="informationSubit" enctype="multipart/form-da原创 2019-01-30 19:10:40 · 320 阅读 · 0 评论 -
基于Spark下查询ip详细信息Demo
本demo全是模拟现实的案例所需的数据源文件链接: https://pan.baidu.com/s/1dd4AeNv4SiEToE81P6PPfA 提取码: 4qqi import java.io.{BufferedReader, FileInputStream, InputStreamReader}import scala.collection.mutable.ArrayBuffe...原创 2019-01-11 21:43:14 · 369 阅读 · 0 评论 -
基于Spark下的查询数据库中信息Demo
import java.sql.DriverManagerimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object JDBCRDDDemo extends App { val conf = new SparkConf().setAppName("JDBCRDD...原创 2019-01-11 20:40:32 · 395 阅读 · 0 评论 -
基于Spark下的自定义分区Demo
本demo所需的数据源:链接: https://pan.baidu.com/s/1VEluh5B3HnodZFyoOZ9Zg 提取码: enmq import java.net.URLimport org.apache.spark.{Partitioner, SparkConf, SparkContext}import scala.collection.mutableobje...原创 2019-01-11 20:37:18 · 189 阅读 · 0 评论 -
离线计算与实时计算
离线计算?离线计算:批量(batch)获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术:sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、hive批量计算数据hivesql 调度平台 hadoop集群运维 数据清洗(脚本语言) 元数据管理 数据稽查 数据仓库模型架构流式计算?流式计算:数据实时产生、数据实时传输、数据实时计算、实...原创 2018-12-17 19:10:09 · 6713 阅读 · 0 评论 -
Storm
Stormflume实时采集,低延迟 kafka消息队列,低延迟 storm实时计算,低延迟 Redis实时存储,低延迟storm用来实时处理数据,特点:低延迟、高可用、分布式、可扩展、数据不丢失。storm与Hadoop区别?storm用于实时计算,hadoop用于离线计算 storm处理的数据保存在内存中,源源不断;hadoop处理的数据保存在文件系统中,一批一批 st...原创 2018-12-17 19:55:01 · 405 阅读 · 0 评论 -
Stream Grouping详解
Storm里面有7种类型的stream groupingshuffle Grouping :随机分组,随机派发stream里面的tuple,保证每个bolt接收到的tuple数目大致相同。 Fields Grouping:按字段分组,比如按userID来分组,具有同样userID的tuple会被分到相同的bolts里的一个task,而不同的userID则会被分配到不同的bolts里面的tas...原创 2018-12-17 20:14:55 · 972 阅读 · 0 评论 -
Redis
Redis是一个开源的高性能键值对数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,并且借助许多高级层次的接口使其可以胜任,如缓存、队列系统的不同角色。Redis的特性多种数据类型存储 字符串类型 散列类型 列表类型 集合类型 有序集合类型 内存存储与持久化 内存的读写速度远快于磁盘 自身提供了持久化功能(ROB、AOP两种方式) 功能丰富 可以做缓存、队列...原创 2018-12-24 11:10:19 · 187 阅读 · 0 评论 -
Mybatis(快速开发):generatorSqlMapCustom
mybatis提供一种反向生成工具,在实际的项目开发中能够快速的开发,后端人员只要知道数据库表的情况下,就可以反向生成DAO层与之对应的mapper映射代码文件。1:反向生成所需架包核心架包:mybatis-generator-core-1.3.2.jar,依靠此架包进行反向生成2.编写log4j-properties,只要是用在控制台可以查看到具体的过程信息log4j.ro...原创 2018-12-19 12:53:29 · 925 阅读 · 0 评论 -
Spark低级算子
什么是RDD?RDD(Rdeilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集缓存在内存中,后续的查询能够重用工作集,这极大的提升了查询速度。RDD的属性(源码注释)一组...原创 2019-01-10 19:48:33 · 153 阅读 · 0 评论 -
Spark高级算子
map是对每一个元素操作;mapPartitions是对其中的每个partition操作;mapPartitionsWithIndex:把每个partition中的分区号和对应的值拿出来,看源码:def mapPartitionsWithIndex[U](f : scala.Function2[scala.Int, scala.Iterator[T], scala.Ite...原创 2019-01-10 20:44:17 · 514 阅读 · 0 评论 -
基于Spark下WordCount的Demo
import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { /** * 创建SparkConf()并设置App名称 * local指本地 * 2代表在本地起两个线程 */ ...原创 2019-01-11 20:06:54 · 303 阅读 · 0 评论 -
基于Spark下基站与手机号连接时间判定机主住地
本demo全属于模拟本demo所需的数据链接:链接: https://pan.baidu.com/s/1KwBctUxE5AxfEBmiZfBmzQ 提取码: n3ft import org.apache.spark.{SparkConf, SparkContext}object NetAndHome { def main(args: Array[String]): Unit...原创 2019-01-11 20:22:09 · 375 阅读 · 0 评论 -
基于Spark下自定义排序Demo
import org.apache.spark.{SparkConf, SparkContext}object CustomSort { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("CustomSort").setMaster("local[2]") val ...原创 2019-01-11 20:27:38 · 157 阅读 · 0 评论 -
常用的正则表达式
1 . 校验密码强度密码的强度必须是包含大小写字母和数字的组合,不能使用特殊字符,长度在8-10之间。^(?=.*\\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$2. 校验中文字符串仅能是中文。^[\\u4e00-\\u9fa5]{0,}$3. 由数字、26个英文字母或下划线组成的字符串^\\w+$4. 校验E-Mail 地址同密码一样,下面...转载 2019-03-05 14:36:27 · 581 阅读 · 0 评论 -
Scp+postgresql问题总结
Scp+postgresql问题总结本地集群的数据同步到阿里云服务器上,再将数据上传到阿里云数据库中,数据库操作要求的是创建临时表,上传数据,查看是否存在索引,删除索引,创建索引,删除原始表,修改临时表表名1:对于scp过程测试多次出现的问题是数据只上传了85M,就停止了,然后开始操作数据库等操作。当时网速是9.多/MB,scp默认的数据上传超时时间为30秒,算下来传输85M也是理所当...原创 2019-04-19 09:54:47 · 583 阅读 · 0 评论 -
python 判断文件是否是特定后缀文件
def endWith(s, *endstring): arr = map(s.endswith, endstring) if True in arr; return Ture else : return False原创 2019-07-03 13:31:48 · 1576 阅读 · 0 评论 -
python 将特定路径下大于1G的文件拷贝
from shutil import copyfiledef list_files(files,file_dir,linux_dir): for ls_file in files: yn=os.path.exists(linux_dir + ls_file) if not yn: if size(file_dir _ ls_file) >= 1000.00: ...原创 2019-07-03 13:37:12 · 368 阅读 · 0 评论 -
SparkStreaming foreachPartition实现输出数据到MYSQL
import java.sql.DriverManagerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object foreachTOMysql { def writeToMysql()={ val conf = new Spar...原创 2019-07-03 16:21:33 · 804 阅读 · 1 评论 -
python教程
https://www.liaoxuefeng.com/wiki/1016959663602400/1017806472608512http://c.biancheng.net/python/class_object/原创 2019-07-09 17:55:46 · 128 阅读 · 0 评论 -
python 映射目录下新增文件实时GPG解密到本地监控目录下
原创 2019-07-05 14:09:22 · 198 阅读 · 0 评论 -
python 读取特定TXT内容将新增文件上传到库
原创 2019-07-05 14:11:27 · 479 阅读 · 0 评论 -
Flink 实例
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}import org.apache.flink.streaming.api.windowing.time.Timeobject SocketWindowWordCount { def main(args: Array[String]):...原创 2019-07-30 13:43:01 · 288 阅读 · 0 评论 -
linux 删除文件第一行的方法
删除第一行sed -i '1d' filename范围删除,删除1-3行sed -i '1,3d' filename删除第n行sed -i 'nd' filename删除最后一行sed -i '$d' filename原创 2019-08-01 14:38:53 · 1253 阅读 · 0 评论 -
python中group方法以及与groups的区别
python中的group方法group()在正则表达式中用于获取分段截获的字符串,解释如下代码(代码来自网络):import rea = "123abc456"print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0) #123abc456,返回整体print re.search("([0-9]*)([a-z]*)([0-9]*...原创 2019-08-16 09:59:10 · 1080 阅读 · 0 评论 -
pandas中的axis=0,axis=1,傻傻分不清楚
https://www.cnblogs.com/nxf-rabbit75/p/10044801.html转载 2019-08-22 13:36:26 · 541 阅读 · 0 评论 -
python MD5文件校验
根据文件块长度,依次获取文件内容读入内存,通过update()逐次更新校验值import hashlibdef md5sum(fname): """ 计算文件的MD5值 """ def read_chunks(fh): fh.seek(0) chunk = fh.read(8096) while chu...原创 2019-07-03 13:27:03 · 850 阅读 · 0 评论 -
通过Java把序列化对象存入json文件中
在开发中用到将用户信息保存到本地的json文件中,特此记录一下实际开发中并不是所有的数据都要和数据库打交道的,比如用户第一次注册的信息是在数据库中,但是当第二次登录时候就从json文件中去查找相应的数据,数据库数据更新的时候确保json文件中的数据与数据库是一致的,在这里json文件起到了redis等中间缓存数据库的作用,避免过多的去操作数据库,记得以前看到过,这样说的,数据库连接的时间远大于...原创 2019-04-11 17:15:43 · 2258 阅读 · 0 评论 -
shell脚本
配置一对多免密登录:https://blog.csdn.net/qq_38704184/article/details/84305854判断是否是文件if [ -f $OTHERLINUXFILEPATH ];then echo "${OTHERLINUXFILEPATH} is file"else echo "${OTHERLINUXFILEPATH...原创 2019-04-12 15:26:18 · 133 阅读 · 2 评论 -
JDBC 连接Hive 简单样例(开启Kerberos)
https://blog.csdn.net/u013850277/article/details/77281229转载 2019-04-16 13:29:49 · 709 阅读 · 0 评论