- 博客(78)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 Spring Boot导入项目
遇到错误：maven不能导入pom.xml的依赖原因是因为，setting-->Build,Execution,Deployment-->Build Tools-->Maven的Maven home path，User setting file和Local repository路径都要设置成本地的正确路径，设置完即可全部导入。导入的包中，部分import的包无法找到，也就是model目录下的文件使用maven install，因为之前已经使用了mvn cle...
2022-03-02 20:16:00
908
原创 Redis学习笔记
启动：cd /usr/local/bin(ps -ef| grep redis)查看有没有启动redis-server /home/hadoop/Desktop/myredis/redis.conf
2021-05-27 23:03:13
107
原创 Java多线程：Lock的使用
ReentrantLock（某种程度上相当于synchronized，但是扩展了很多功能）Condition实现等待/通知：package com.java.mul;import java.io.IOException;import java.io.PipedInputStream;import java.io.PipedOutputStream;public class Run { public static void main(String[] args) throws Int
2021-05-23 00:17:44
149
原创 Java多线程编程（线程间通信）
方法wait的作用是使当前执行代码的线程进行等待，将当前线程置入预执行队列，在调用wait之前，线程必须获得该对象的对象级别锁，即只能在同步方法或者同步块中调用wait方法。方法notify也要在同步方法或同步块中调用，再执行notify方法后，要等到执行notify的方法的线程将程序执行完，也就是退出synchronized代码块后，当前线程才会释放锁。package com.java.mul;import com.java.mul.extthread.Alogin;import co
2021-05-17 22:16:47
118
原创 Java多线程编程（volatile）
当涉及到多继承时，实现Runnable接口而不是继承Thread类，很有必要。package com.java.mul;import com.java.mul.extthread.Alogin;import com.java.mul.extthread.BLogin;public class multest { public static void main(String[] args) throws InterruptedException { // TODO Auto-ge.
2021-05-12 00:06:58
71
原创 Java多线程编程（基础，synchronized）
Java实现多线程的方式1 继承Thread类（不支持多继承），2 实现Runnable接口线程调用有随机性。package com.java.mul;public class multest { public static void main(String[] args) throws InterruptedException { // TODO Auto-generated method stub MyThread mythread = new MyThread.
2021-04-29 22:28:14
110
1
原创 spark学习代码笔记和问题解决03：spark streaming
Spark Streaming重点知识//************* Spark Streaming是什么1、SPark Streaming是Spark中一个组件，基于Spark Core进行构建，用于对流式进行处理，类似于Storm。2、Spark Streaming能够和Spark Core、Spark SQL来进行混合编程。3、Spark Streaming我们主要关注： 1、Spark Streaming 能接受什么数据？ kafka、flume、HDFS、...
2021-04-16 22:01:46
147
原创 spark学习代码笔记和问题解决02：spark sql
val df = spark.read.json("./examples/src/main/resources/people.json")（报错：Path does not exist: file:/home/hadoop/app/spark-2.1.1-bin-hadoop2.7/bin/examples/src/main/resources/people.json;）val df = spark.read.json("../examples/src/main/resources/peopl.
2021-04-08 22:46:12
242
原创 spark学习代码笔记和问题解决01：spark core
代码RDD创建1、sc.parallelize(seq) 把seq这个数据并行化分片到节点val a = sc.parallelize(List("a","b","c"))2、sc.makeRDD(seq) 把seq这个数据并行化分片到节点，他的实现就是parallelizeval aaa = sc.makeRDD(List("d","e","f"))3、sc.makeRDD(seq[(T,seq)] 这种方式可以指定RDD的存放位置val aa = sc.make...
2021-04-01 00:06:59
421
原创 spark03：RDD高级特性
RDD依赖关系（宽依赖，窄依赖，血统关系，DAG有向无环图）RDD持久化RDD检查点机制键值对RDD数据分区RDD累加器和广播变量
2021-03-22 19:14:16
74
原创 spark课程02：RDD概念，RDD转换，应用提交
spark corespark core中最重要的部分：RDD（弹性分布式数据集，是spark计算的基石，为用户隐蔽了底层对数据的复杂抽象和处理，为用户提供了一组方便的数据转换与求值方法）val prdd = sc.parallelize(1 to 10)prdd.collectval lrdd = sc.parallelize(List("a","b","c"))lrdd.collectval mrdd = sc.makeRDD(0 to 10)mrdd.c...
2021-03-20 18:01:03
246
原创 scala part7 黑马 Actor，Akka
scala actor并发编程模型可以用来开发比java线程效率更高的并发程序。java并发编程中，每个对象都有一个逻辑监视器（monitor），可以用来控制对象的多线程访问。我们添加sychronized关键字来标记，需要进行同步加锁访问。这样，通过加锁机制来确保同一时间只有一个线程访问共享数据。但是这种方式存在资源争夺，以及死锁问题，程序越大麻烦越大。...
2021-02-22 11:54:21
80
原创 scala part5 黑马，高阶函数，隐式转换，泛型
option类型（用来避免空指针的遇到一次处理一次的繁琐操作）def divide(a:Int,b:Int):Option[int] = { if(b == 0) None else Some(a/b)}result1 = divide(10,0)result1 match{ case Some(x) => println() case None => println()}偏函数（是一个PartialFunction类的对象）
2021-02-19 17:56:03
115
原创 scala part4 黑马，匹配
匹配类型 val a:Any = "hadoop" val result1 = a match { case x:String => s"${x}是一个String类型的数据" case x:Int => s"${x}是一个Int类型的数据" case x:Double => s"${x}是一个Double类型的数据" case _ => "未匹配" } println(result1) /
2021-02-19 16:21:33
72
原创 scala part3 黑马，函数式编程（重要）
函数式编程指的是方法的参数列表可以接受函数对象1 foreach（遍历集合）格式def foreach(f:(A)=> Unit) : Unit//简写def foreach(函数)def main(args: Array[String]): Unit = { val list1 = List(1,2,3,4) list1.foreach((x:Int) => {println(x)}) //参数只有一个，类型可以通过类型推断 l.
2021-02-18 16:42:19
76
原创 scala part2 黑马
trait适配器模式（有时候并不需要实现一个特征的所有方法，这时要用到适配器类）模板方法模式职责链设计模式D中的show执行了上面三个show（从右往左依次执行d,b,c,a）91
2021-02-16 22:29:48
61
原创 scala part1 黑马
scala是基于JVM的多范式编程语言（函数式的面向对象语言）兼容java（可以访问java类库）静态类型，支持类型推断和模式匹配环境java版本 1.8scala版本 2.11.12（下载地址：https://www.scala-lang.org/download/2.11.12.html）IDEA 版本2020.3.2...
2021-02-15 00:56:01
115
原创 spark课程01：环境安装
mapreduce：一系列的步骤，都写在了两个步骤里，不适合迭代计算（凸优化，梯度下降），没有办法做交互式数据挖掘（比如说，输入一次，等一个小时，再输入一次，进行计算），它擅长的是长时间大数据批量计算。迭代式计算：不断有新的计算产生，新的计算使用之前计算的结果...
2021-02-13 13:07:07
98
原创 与集群相关的linux使用
Hadoop集群Hadoop集群启动，关闭启动在三台机器上启动zookeepercd app/zookeeper-3.4.5/bin/zkServer.sh start在01执行start-dfs.sh在01执行start-yarn.sh关闭在01执行stop-yarn.sh在01执行stop-dfs.sh在三台机器上关闭zookeepercd app/zookeeper-3.4.5/bin./zkServer.sh stopHadoop其他指令.
2021-01-10 22:08:29
94
原创 hivesql与业务解决思路
查看每个城市每天完成订单数，取消订单数，下单订单数，下单用户数select city_id, sum(case when order_status=5 then 1 else 0 end) as cnt_ord_succ_d, sum(case when order_status=3 then 1 else 0 end) as cnt_ord_cacel_d, sum(1) as cnt_ord_d, count(distinct CUST_ID) as cnt_ord_user /
2020-12-30 11:06:51
230
原创 数仓实习遇到的问题
sqlwith用法https://blog.csdn.net/qq_36617521/article/details/55256382https://blog.csdn.net/weixin_41600552/article/details/82958942convert()https://www.runoob.com/sql/func-convert.htmlcube和rollup，groupinghttps://www.cnblogs.com/zzhangyuhang/p/9
2020-12-28 18:11:27
235
原创 阿里巴巴大数据之路第一篇 数据技术篇
目录第2章 日志采集2.1 浏览器的页面日志采集2.1.1 页面浏览日志采集流程2.1.2 页面交互日志采集2.1.3 页面日志的服务器端清洗和预处理2.2 无线客户端的日志采集2.2.1 页面事件2.2.2 控件点击及其他事件2.2.3 特殊场景2.2.4 H5&Native日志统一2.2.5 设备标识2.2.6 日志传输2.3 日志采集的挑战2.3.1 典型场景2.3.2 大促保障第3章 数据同步3.1 数据同步基础3.
2020-12-25 20:38:12
193
原创 项目：离线点击流分析
离线点击流分析环境环境需要配置：jdk1.7.0_51hadoop-2.6.1向hdfs上传原始数据hadoop fs -mkdir /myPro1hadoop fs -mkdir /myPro1/srcdatahadoop fs -put access.log.fensi /myPro1/srcdata运行WeblogPreProcess进行预处理hadoop jar myPro1.jar cn.bigdata.hive.mr.pre.WeblogPreProcesshadoop
2020-10-29 17:01:52
117
原创 从0开始搭建hadoop伪分布式集群（五：hive，Hbase）
hivehbase在01上执行tar -zxvf hive-0.12.0.tar.gz -C app/cd /home/hadoop/app/hive-0.12.0/bin./hiveexit;cd /home/hadoop/app/hive-0.12.0/confvi hive-site.xml<configuration><property><name>javax.jdo.option.ConnectionURL</name><
2020-10-29 01:20:17
140
原创 从0开始搭建hadoop伪分布式集群（四：hadoop HA）
hadoop HA进入HA3VM01cd /home/hadoop/app/hadoop-2.4.1/etc/hadoopvi hadoop-env.sh（这里若是在之前已经配置过JAVA_HOME，则不用再进行更改）添加JAVA_HOMEvi core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://ns1/</value&
2020-10-28 17:06:29
126
原创 从0开始搭建hadoop伪分布式集群（三：Zookeeper）
Zookeeper无密登录zookeeper配置无密登录01 输入cd输入ssh-keygen -t rsa所有需要输入的地方全部回车，表示默认。输入ll -acd .sshscp id_rsa.pub HA3VM02:/home/hadoopscp id_rsa.pub HA3VM03:/home/hadoop进入HA3VM02的linux界面输入ssh-keygen -t rsacd .sshtouch authorized_keyscat …/id_rsa.pub &
2020-10-28 12:06:50
192
原创 从0开始搭建hadoop伪分布式集群（二：hadoop组件）
hadoop组件安装hadoop在windows上查看hadoop界面配置windows的hosts安装hadoop按alt + p键，进入sftp传输界面，执行指令put D:/hadoop-2.4.1.tar.gz将安装包传输到linux系统之后回到linux，将hadoop解压到app文件夹下，执行tar -zxvf hadoop-2.4.1.tar.gz -C app/执行cd /home/hadoop/app/hadoop-2.4.1/sharerm -rf doc(doc文件
2020-10-27 16:03:21
93
原创 5001: Statistical Machine Learning I 5th class(20-9-29) 笔记
Model diagnostics上次写过的作业，跳过
2020-10-22 22:56:16
106
原创 5001: Statistical Machine Learning I 4th class(20-9-22) 笔记
Linear RegressionSimple linear regressionSimple linear regression
2020-10-22 14:50:53
131
原创 5001: Statistical Machine Learning I 3rd class(20-9-15) 笔记
Overview: Statistical Machine LearningStatistics and machine learningmodelsprediction and inferenceClassificationModel assessment for regressionMSE（mean square error）training errortest errorModel assessment for classificationMCE（misclassification error）tra
2020-10-21 20:21:30
168
原创 数据仓库框架流程图整理
数据仓库框架流程图整理高质量数据建模基础数据仓库架构EDW建模维度建模数据仓库生命周期高质量数据建模基础数据仓库架构EDW建模维度建模数据仓库生命周期
2020-09-12 08:52:43
1089
原创 HbaseDemo
package cn.itcast.bigdata.hbase;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apa
2020-09-07 15:58:21
109
原创 5003 Storing and Retrieving Data
Storing and Retrieving DataFirst class生僻单词What is databaseDatabase OverviewData Modelsdatabasedata modelschemarelational data modelData AbstractionPhysical schemaConceptual (or logical) schemaExternal (or view) schemaData IndependencePhysical data independ
2020-09-05 10:39:59
890
4
原创 6014: Networked Life & Data Science, Textbook: Networked Life 20 Questions and Answers
Networked Life & Data SciencedetailsNetwork basicsCh. 1, 18 (Introduction, cellular, and WiFi)生僻单词Ch. 1 What makes CDMA work for my smartphone?cellular networkHow can the users in the same cell share the same frequency band?orthogonal allocationnon-ort
2020-09-04 17:06:09
476
空空如也
用java程序调用python，tensorflow模型便不能由python程序读入了
2019-05-18
java web websocke无法连接
2019-03-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人