- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 AI学习和实战
5、2023年，人工智能大爆发，OpenAI发布了GPT-4,微软推出new Bing,百度推出文心一言，DeepMind发布了AlphaGo Zero 2.0，一种完全自主学习的围棋程序，能够超越任何人类或计算机对手；4、2022年，人工智能在多模态、跨领域、泛知识等方面取得了重大突破。3、2018年，OpenAI公司开发了GPT-2模型，大规模预训练语言模型（6、2024年2月15日，OpenAI发布的人工智能文生视频大模型sora。是个开源的AI绘画模型框架，可实现文生图、图生图。
2024-04-03 16:53:51
840
原创 sparksql参数
Spark参数场景配置 参数类型 参数 参数说明 平台默认值 场景与建议 资源申请 spark.executor.memory Executor Java进程的堆内存大小 即Executor Java进程的Xmx值 2g 默认设置,或者同时等比例增大,最高不超过默认值的3倍,超过的单独拿出来看下
2023-07-28 17:06:30
313
原创 数据仓库理论
对于一个erp系统而言，"销售分析"就是一个分析领域，这个"销售分析"所涉及到的分析对象有商品、供应商、顾客、仓库等，那么数仓主题就确定为商品主题、供应商主题、顾客主题、仓库主题，"销售分析"就可以作为一个主题域；数据仓库是面向主题（Subject-Oriented ）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time-Variant ）数据集合。自上而下：先建立范式模型的数仓，再在数仓上抽取主题建设数据集市。大数据数仓：依赖于分布式数据库的大数据场景。
2023-07-17 09:48:04
580
原创 node.js
简单的说 Node.js 是js的服务器。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。 Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。
2023-01-28 10:56:51
186
原创 shell脚本开发及定时任务配置
#!/bin/bashset -ehosts=$1username=$2password=$3pathname=$4filename=$5src_file=$4$5dest_file=$5filter_file="temp_"$5filter_word=$6table_name=$7partition=$8echo "user name = ${USER}"pwdarray=(${hosts//,/ })for host in ${array[@]}do/usr/bin.
2021-12-16 16:59:04
1076
原创 python入门到放弃
一、入门篇assert(condition)断言，检测一个条件，如果条件为真，它什么都不做；反之它触发一个带可选错误信息的AssertionError。二、精通篇
2021-07-28 18:34:15
79
原创 git使用
本文参考：1、在IDEA中实战Git2、Git 实战教程一、git工作流程Workspace：工作区Index/Stage：暂存区Repository：本地仓库区Remote：远程仓库二、git安装git官网下载安装完后需进行如下配置1、设置用户名和邮箱git config --global user.name "Your Name"git config --global user.email“[email protected]”2、生成密钥(.
2021-07-05 17:18:50
89
原创 FLINK dataset实例
/***WordCount*/public class WordCountJavaTest { public static void main(String[] args) throws Exception{ final ExecutionEnvironment env=ExecutionEnvironment.getExecutionEnvironment(); env.setNumberOfExecutionRetries(3);//重试次数，启动容错 .
2020-07-06 17:25:08
256
原创 java8 新特性
原始java写法DataStream<Tuple2<String, Long>> dst1=ds.map(new MapFunction<Tuple2<String, Long>, Tuple2<String, Long>>() { @Override public Tuple2<String, Long> map(Tuple2<String, Long> l) throws Exception {
2020-07-06 17:15:58
199
原创 FLINK实例
public class StreamTest{ public static void main(String[] args) throws Exception{ final StreamExecutionEnvironment env= StreamExecutionEnvironment.getExecutionEnvironment(); //******************************source***********************.
2020-07-06 17:01:55
471
原创 flink DataStream API
一、DataStream方法：split 拆分stream，返回SplitStream，SplitStream定义了select方法，可以根据select方法查询拆分的datastream。connect合并流，只能连接两个流，两个流类型可以不一致，返回ConnectedStreams，重写了flatMap、keyBy等方法。union 可以连接多个流，流的类型必须一致 返回DataStream。join join(otherStream).where(<KeySelector&g...
2020-07-06 16:55:34
203
原创 es简单实用
新建索引PUT index_name修改索引PUT index_name/_mapping/elasticsearch{ "properties": { "articleNumber" : { "type" : "keyword" }}}给字段添加keyword类型PUT index_name/_mapping/elasticsearch{ "properties": { "bindTime": { ...
2020-05-27 18:35:43
196
1
原创 jquery
一、jquery 方法$(document).ready(function(){//简写$(function(){}) $("p").click(function(){ $(this).hide(); $(this).show(); });});二、jquery选择器1)基本选择器标签选择器：$("div")id选择器：$("#test")class...
2019-09-20 17:32:51
112
原创 java中的关键字
一、基本数据类型boolean 基本数据类型之一，声明布尔类型的关键字byte 基本数据类型之一，字节类型short 基本数据类型之一,短整数类型int 基本数据类型之一，整数类型long 基本数据类型之一，长整数类型float 基本数据类型之一，单精度浮点数类型double 基本数据类型之一，双精度浮点数类型char 基本数据类...
2019-09-10 23:38:27
130
原创 hive、spark函数大全
一、hive1、日期 （hive没有date类型）1）、获取时间current_date 2019-05-07current_timestamp/now() 2019-05-07 15:20:49.2472）、从日期时间中提取字段year(''),month(''),day/dayofmonth,hour(''),minute(''),second(''),dayofweek(),d...
2019-09-02 16:30:42
1675
1
原创 hadoop集群
一、hadoop动物管理员 Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统（HDFS）以及一些相关项目。hadoop集群包含两类节点（Master与Slave）Master节点：运行了Namenode、或者Secondary Namenode、或者Jobtracker的节点。还有浏览器（用于观看管理界面），等其它Hadoop工具。Master...
2019-02-14 17:53:09
1839
原创 集合
一、集合基础1、List有序可重复ArrayList,Vector, LinkedList。继承Comparable类重写compareTo方法。ArrayList 和Vector 都是使用数组方式存储数据，读快改慢。ArrayList线程不安全，一半增长；Vector线程安全，一倍增长。LinkedList 使用双向链表实现存储，读慢改快。2、Set无序不重复。set中保存对象时重写eq...
2019-01-10 17:29:05
130
原创 java-数据库
一、连接池1、连接：JDBC定义了一系列的接口规范，具体的实现是由各数据库厂商去实现。先注册驱动和数据库信息、操作Connection、通过statement对象执行SQL，将结果返回给resultSet，然后从resultSet中读取数据并转换为pojo对象。2、ORM：对象关系映射Object relational Mapping，对Jdbc进行封装。hibernate、mybatise。...
2018-11-26 16:27:34
235
原创 concurrent包
一、AtomicAtomic变量通过cpu的cas指令结果与实际计算结果对比，false继续下一次计算对比（乐观锁）。存在ABA问题。对比volatile变量，(轻量级锁)，直接写主内存。写主内存是线程不安全的。对比sychronize，(重量级锁)。Atomic包提供了以下三个类：AtomicBoolean：原子更新布尔类型。addAndGet、getAndIncrement、getA...
2018-11-22 16:02:06
191
原创 spring
一、入门篇SSM框架整合1、web.xml(加载spring容器listener,解决post乱码,springmvc的前端控制器) <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2018-06-21 17:22:41
149
原创 java之路
一、java基础1、java基础包2、java多线程和java内存模型3、java关键字二、开发工具1、eclipse2、idea3、maven4、excel5、其他三、服务器及原理1、tomcat2、jetty3、webservece四、web1、servlet2、jsp3、js4、html55、jquery6、其...
2018-06-21 14:35:12
221
原创 Java lang包介绍
Java.lang提供java语言程序设计的基础类(基础数据类型的封装类、Class、math、线程类)。lang包中的类的应用不需要手动import。一、Object类是java体系中所有类的父类Object实现的方法:clone(只有实现Cloneable接口才可调用)；getClass，toString，hashCode，equals，finalize(释放资源)，wait，...
2018-04-20 11:10:58
8857
原创 java基础
一、常用的基础类库：11个jar（Java Archive，Java归档）包Java.lang提供java语言程序设计的基础类(基础数据类型的封装类、Class、math、Exception 、线程类)Java.util提供处理日期、时间、随机数生成等各种使用工具的类(日期、Random、集合) concurrent包Java.io提供与输入输出相关的类(File、输入输出)Java.n...
2018-04-11 14:55:11
177
原创 kafka
一、JMS1、JMS是Java Message Service的缩写，即Java消息服务，如Hornetq、ActiveMQ、kafka。在大型互联网中，JMS可以帮助我们应用之间的解耦以及操作的异步。2、JMS两种消息模型：点对点模型，发布/订阅模型。在此基础上，我们着重思考的是消息的顺序保证、扩展性、可靠性、业务操作与消息发送一致性，以及多集群订阅者等方面的问题。点对点模型：一条消...
2018-04-08 11:22:58
174
原创 redis
一、redis安装 1、安装 $ wget http://download.redis.io/releases/redis-2.8.17.tar.gz $ tar xzf redis-2.8.17.tar.gz $ cd redis-2.8.17 $ make 2、启动 $ ./redis-server $ ./redis-server redis.conf指定配置文件启动 $ ./red...
2018-03-08 11:25:37
286
1
原创 Nginx
一、Nginx安装配置 1、下载 nginx pcre 1）准备 pcre-8.12.tar.gz。该文件为正则表达式库。让nginx支持rewrite需要安装这个库。 2) 准备 nginx-1.5.0.tar.gz。 3）确保进行了安装了linux常用必备支持库。 2、安装yum install gcc-c++ 3、上传pcre-8.12.tar.gz, ng...
2018-03-02 16:20:32
292
原创 Vue快速入门
一、创建vue实例new Vue({el: '#html的class',data: { message: 'Hello Vue!' //html可以通过{{ message }}取，如<p>{{ message }}</p>}， //v-model="methods: {...
2018-02-23 16:37:11
156
原创 多线程
一、多线程基础(多线程的创建方式，线程生命周期，死锁)1、线程和进程线程是进程的子集，一个进程可以有很多线程，每条线程并行执行不同的任务。不同的进程使用不同的内存空间，而所有的线程共享一片相同的内存空间。都拥有单独的栈内存用来存储本地数据。2、线程生命周期新建(New)、就绪（Runnable）、运行（Running）、阻塞(Blocked)和死亡(Dead)5种状态。3、死锁的条件互...
2018-02-11 22:09:52
644
原创 初识storm
Storm:实时处理领域的Hadoop 在 Storm 集群中，有两类节点：主节点 master node 和工作节点 worker nodes。主节点运行着一个叫做 Nimbus 的守护进程。这个守护进程负责在集群中分发代码，为工作节点分配任务，并监控故障。Supervisor守护进程作为拓扑的一部分运行在工作节点上。一个 Storm 拓扑结构在不同的机器上运行着众多的工作节点。 Storm基...
2018-02-05 20:32:36
270
原创 hive笔记
原理hive将sql语句转换为MapReduce任务进行运行最佳使用场合是大数据集的批处理作业Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下，因此，Hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的● 支持索引，加快数据查询。● 不同的存储类型，例如，纯文本文件、HBase 中的文件。● 将元数据保存在关系数据...
2018-01-29 14:58:50
296
Freemaker.rar
2019-08-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人