- 博客(55)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【java 新特性】java8新特性
在Java世界里面，面向对象还是主流思想，对于习惯了面向对象编程的开发者来说，抽象的概念并不陌生。面向对象编程是对数据进行抽象，而函数式编程是对行为进行抽象。现实世界中，数据和行为并存，程序也是如此，因此这两种编程方式我们都得学。这种新的抽象方式还有其他好处。很多人不总是在编写性能优先的代码，对于这些人来说，函数式编程带来的好处尤为明显。程序员能编写出更容易阅读的代码——这种代码更多地表达了业务逻辑，而不是从机制上如何实现。易读的代码也易于维护、更可靠、更不容易出错。在写回调函数和事件处理器时，程序员不必再
2022-12-07 20:35:57
1379
1
原创 【并发】J.U.C之Java锁
这四种锁是指锁的状态，专门针对synchronized的。在介绍这四种锁状态之前还需要介绍一些额外的知识。首先为什么Synchronized能实现线程同步？在回答这个问题之前我们需要了解两个重要的概念：“Java对象头”、“Monitor”。synchronized是悲观锁，在操作同步资源之前需要给同步资源先加锁，这把锁就是存在Java对象头里的，而Java对象头又是什么呢？我们以Hotspot虚拟机为例，Hotspot的对象头主要包括两部分数据：Mark Word（标记字段）、Klass Pointer（
2022-12-04 23:35:21
264
原创 【并发】J.U.C线程池
经历了Java内存模型、JUC基础之AQS、CAS、Lock、并发工具类、并发容器、阻塞队列、atomic类后，我们开始JUC的最后一部分：线程池。多线程的性能问题，分为两类，一类是线程本身的调度，另一类是线程之间的协作开销。在实际开发中，线程数往往是大于 CPU 核心数的，比如 CPU 核心数可能是 8 核、16 核，等等，但线程数可能达到成百上千个。这种情况下，操作系统就会按照一定的调度算法，给每个线程分配时间片，让每个线程都有机会得到运行。而在进行调度时就会引起上下文切换，上下文切换会挂起当前正在执行
2022-12-04 21:59:08
375
原创 java 调用hdfs api 上传文件报错（ could only be replicated to 0 nodes instead of minReplication (=1). There ）
2022-05-18 20:19:55.197 INFO 4772 --- [ Thread-70] org.apache.hadoop.hdfs.DFSClient : Exception in createBlockOutputStreamjava.net.ConnectException: Connection timed out: no further information at sun.nio.ch.SocketChannelImpl.checkConne
2022-05-18 21:42:38
1328
原创 阿里云服务器 mysql 8.0.18安装（通用linux安装mysql）
首先，卸载mariadb。rpm -qa | grep mariadb 命令查看[root@al3 mysql]# rpm -qa | grep mariadbmariadb-libs-5.5.60-1.el7_5.x86_64rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64 卸载mariadb安装 net-tools 工具，安装 perl，否则会出现缺少依赖的错误[root@al3 mysql]# yum install net-tools
2020-12-15 14:38:52
271
原创 从零编写 vue 后台管理系统（02）
在src 下新建 views 文件一个完整的store结构每一个Vuex应用的核心就是store（仓库）。store 基本上就是一个容器，包含着应用中大部分的state（状态）。Vuex和单纯的全局对象有以下两点不同：Vuex 的状态存储是响应式的。当 Vue 组件从 store 中读取状态的时候，若 store 中的状态发生变化，那么相应的组件也会相应地得到高效更新。不能直接改变 store 中的状态。改变 store 中的状态的唯一途径就是显式地提交 mutation。这样使得我们可以方便地跟
2020-08-24 09:52:23
345
原创 从零编写 vue 后台管理系统（01）
项目仿照 vue-admin-templatevue-admin-template 下的 permission-control 分支 进行的。主要使用的技术有 ： vue 。。。主要实现功能：登录初始化项目webpack这个项目是由 vue-cli 的 webpack-template 为基础模板构建的。请先安装node.js。以及vue-cli。具体安装比较简单，不再赘述。vue-cli是构建vue单页应用的脚手架，命令行输入vue init 从而自动生成的项目模板，比较常用的模板有we
2020-08-21 12:40:31
614
原创 【每天一道算法题】割绳子
题目链接：https://www.nowcoder.com/practice/57d85990ba5b440ab888fc72b0751bf8?tpId=13&&tqId=33257&rp=1&ru=/ta/coding-interviews&qru=/ta/coding-interviews/question-ranking简单的描述的话，就是一个数分解为几个正整数之和,使之乘积最大 。简单的递归和 动态规划都都可以解决这个问题，题目上表示要用贪心解决。这需要
2020-07-15 14:47:24
789
原创 Python MySQL
Python MySQL - mysql-connector 驱动MySQL 是最流行的关系型数据库管理系统，如果你不熟悉 MySQL，可以阅读我们的 MySQL 教程。本章节我们为大家介绍使用 mysql-connector 来连接使用 MySQL， mysql-connector 是 MySQL 官方提供的驱动器。我们可以使用 pip 命令来安装 mysql-connector：python -m pip install mysql-connector使用以下代码测试 mysql-conne
2020-07-06 15:14:57
161
原创 Python字符串 /列表
Python字符串字符串或串(String)是由数字、字母、下划线组成的一串字符。从左到右索引默认0开始的，最大范围是字符串长度少1从右到左索引默认-1开始的，最大范围是字符串开头如果你要实现从字符串中获取一段子字符串的话，可以使用 [头下标:尾下标] 来截取相应的字符串，其中下标是从 0 开始算起，可以是正数或负数，下标可以为空表示取到头或尾。[头下标:尾下标] 获取的子字符串包含头下标的字符，但不包含尾下标的字符。>>> str ='RUNOOB'>>>
2020-07-06 14:49:11
835
原创 Python3 OS 文件/目录方法
方法描述os.access(path, mode)检验权限模式os.chdir(path)改变当前工作目录os.chflags(path, flags)设置路径的标记为数字标记。os.chmod(path, mode)更改权限os.chown(path, uid, gid)更改文件所有者os.chroot(path)改变当前进程的根目录os.close(fd)关闭文件描述符 fdos.closerange(fd_low, fd_hi...
2020-07-06 14:23:52
159
原创 python I/O
控制台I/Oinput函数 与print函数>>> str = input("请输入：")请输入： hello>>> print( "你输入的内容是: "+str)你输入的内容是: hello打开和关闭文件你必须先用Python内置的open()函数打开一个文件，创建一个file对象，相关的方法才可以调用它进行读写。语法：open(file, mode='r', buffering=-1, encoding=None, errors=None, ne
2020-07-06 12:31:38
1612
原创 Python 日期和时间
获取当前时间戳>>> import time>>> time.time()1594002800.2053256格式化日期time.localtime() 格式化时间戳为本地的时间。 如果sec参数未输入，则以当前时间为转换标准。>>> time.localtime(time.time())time.struct_time(tm_year=2020, tm_mon=7, tm_mday=6, tm_hour=10, tm_min=36, t
2020-07-06 11:16:10
143
原创 sql深入了解
引用内容为个人认为需要重点掌握之内容use RUNOOB; 命令用于选择数据库。set names utf8; 命令用于设置使用的字符集。SELECT * FROM Websites; 读取数据表的信息。SQL 对大小写不敏感：SELECT 与 select 是相同的。SELECT - 从数据库中提取数据UPDATE - 更新数据库中的数据DELETE - 从数据库中删除数据INSERT INTO - 向数据库中插入新数据CREATE DATABASE - 创建新数据库ALTER .
2020-07-01 17:44:36
327
原创 Python Scrapy爬虫教程-更新
在之前我简单的实现了 Scrapy的基本内容。存在两个问题需要解决。先爬取详情页面，在根据页面url获取图片太费事了，要进行简化，一个项目就实现图片爬取。增量爬虫，网站数据更新，获取更新内容。一般爬虫的逻辑是：给定起始页面，发起访问，分析页面包含的所有其他链接，然后将这些链接放入队列，再逐次访问这些队列，直至边界条件结束。为了针对列表页+详情页这种模式，需要对链接抽取（link extractor）的逻辑进行限定。我们先了解一下 crawlspider rules。crawlspider ru
2020-06-21 19:31:32
474
原创 Hbase regionserver 报错 java.lang.NoClassDefFoundError: org/apache/jute/Record
Caused by: java.lang.NoClassDefFoundError: org/apache/jute/Record at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.checkZk(RecoverableZooKeeper.java:131) at org.apache.hadoop.hbase.zookeepe...
2019-12-17 09:19:28
2496
原创 Hive建表出现 LINES TERMINATED BY only supports newline '\n' right now.解决办法
Hive建表语句如下：CREATE EXTERNAL TABLE IF NOT EXISTS students ( id int, name string, gender string, birthday Date, clazz string, phone string, loc string) COMMENT 'student details' ROW FORMAT DELIMITED...
2019-12-03 16:16:48
6743
原创 ElasticSearch 入门教程 二（ES集群搭建与配套软件安装）
ES的集群部署第一步：创建普通用户（使用root用户）注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等创建一个es专门的用户（必须）在三台机器执行以下命令useradd es mkdir -p /export/servers/eschown -R es /export/servers/...
2019-11-30 18:27:20
377
原创 ElasticSearch 入门教程 一（体系结构）
全文检索的介绍全文检索的需求介绍首先我们谈几个公司，如雷贯耳的：百度、谷歌、维基百科；这些公司都有一个相似性就是门户网站，可以提供我们通过关键字搜索，然后快速的检索出我们想要的信息；【网页百度展示】比如我们检索关键词，百度后台就会按照这个关键字进行查找（里面有搜索库，以及爬虫库），然后按照权重来进行从上到下的排序，给我们高亮的展示出现。【京东或者淘宝展示】随便搜索东西，就会高精度的展示...
2019-11-30 17:42:44
912
原创 RESTful API讲解
RESTful风格REST是REpresentational State Transfer的缩写（一般中文翻译为表述性状态转移），REST 是一种体系结构，而 HTTP 是一种包含了 REST 架构属性的协议，为了便于理解，我们把它的首字母拆分成不同的几个部分：表述性（REpresentational）： REST 资源实际上可以用各种形式来进行表述，包括 XML、JSON 甚至 HTML—...
2019-11-30 16:37:38
329
原创 tensorflow中的crf
为什么使用crf实体识别的应用领域，lstm＋crf是一种标配了，短期内我认为只要在attention方面没有很大的突破，这一框架都不会变化。为什么lstm后面要接crf层首先看BiLSTM的输出1.50.20.090.0030.120.90.40.020.0020.20.10.10.030.20.10.080.110.080.070.0650.050.050.10.051.5\beg...
2019-09-04 23:55:05
2112
2
原创 Neural Architectures for Named Entity Recognition（用于命名实体识别的神经结构）全文翻译
前言原文：https://arxiv.org/pdf/1603.01360.pdf主要使用翻译软件：http://fanyi.youdao.com/人工修改：https://blog.csdn.net/qq_41837900本文主要使用 有道翻译 ，由人工对细节修改，力求达到信达雅。正文：Neural Architectures for Named Entity Recognition...
2019-09-03 22:03:54
3369
1
原创 [大数据基础]Flume学习
Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume框架批处理下面我们来详细介绍一下Flume架构中的组件。AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。Agent主要有3个部分组成，Source、Channe...
2019-08-02 15:01:11
244
原创 flume启动报错
01 八月 2019 16:05:28,201 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:443) - HDFS IO errorjava.io.IOException: Failed on local exception: co...
2019-08-01 16:45:11
405
原创 flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
我在启动Flume对hdfs写入时报如下错误:ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failedjava.lang.NoClassDefFoundError: org/htrace/Trace...
2019-08-01 16:21:11
1434
原创 [大数据基础]zookeeper学习
概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。安装下载地址:http://archive.apache.org/dist/zookeeper/单机模式解压到指定目录$ tar -zxvf zookeeper-3.4.10.tar.gz -C /o...
2019-07-31 21:03:45
232
原创 pandas简单教程
import pandas as pdimport numpy as npimport matplotlib.pyplot as plt对象创建通过传入一些值的列表来创建一个Series， Pandas会自动创建一个默认的整数索引：s = pd.Series([1,3,5,np.nan,6,8])s0 1.01 3.02 5.03 NaN4 ...
2019-07-25 13:52:43
189
原创 Python Scrapy爬虫简单教程
目标确定本人在做一个前端页面的项目,用到一些电影数据 , 就打算在网上爬取一些数据,之前使用自写的爬虫demo,但效果不太好,而且费时间.所以打算用框架解决.框架选择Scrapy.爬取网页:https://www.ygdy8.net/html/gndy/china/index.html页面分析打开页面,https://www.ygdy8.net/html/gndy/china/index...
2019-07-22 16:14:40
16870
7
原创 BP算法
Back propagation(反向传播)Backpropagation algorithms are a family of methods used to efficiently train artificial neural networks (ANNs) following a gradient descent approach that exploits the chain rul...
2019-06-07 18:20:51
296
原创 Apache kylin 入门学习(4) kylin 查询api
之前我们成功创建了kylin的cube,并且可以使用web ui查询.但在真实的生产过程中,使用的是api调用,所以,我们将kylin api进行学习.官方api文档:这里本文代码:这里lylin有两种连接方法jdbc这种方法与mysql,hive相似,不重点讲.在这里插入代码片post通过post发送请求,返回json这种api调用比较新颖,较多大公司使用这种方法.在这里插...
2019-06-05 21:06:00
802
原创 Apache kylin 入门学习 (1)kylin简单认识
一kylin框架Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。以Hive或者Kafka作为数据源，里面保存着真实表，而Kylin做的就是将数据进行抽象，通过引擎实现Cube的构建。将Hbase作为数据的仓库，...
2019-06-05 15:15:41
590
原创 HBase 基本操作与api
基本操作1．进入HBase客户端命令行[atguigu@cm1 hbase]$ bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list表的操作1．创建表hbase(main):002:0> create ‘student’,‘info’2．插入数据到...
2019-06-02 16:05:30
143
原创 根据类名找jar包
ctrl+shift+t可以在eclipse中查找,但这仅限于本地jar包,对于未知jar包我们没有办法.这个网址可以根据类名查找jar包https://www.findjar.com/index.x但比较鸡肋,因为常用的在百度上也可以搜出来,百度没有这个也估计不行.但还是记录一下,以备不时之需....
2019-05-30 21:49:48
1527
原创 kylin build cube 报错:kylin : killed by admin
如题在 Sandbox VM 中，YARN 不能给 MR job 分配请求的内存资源，因为 “inmem” cubing 算法需要更多的内存。您可以通过请求更少的内存来绕过这一步: 编辑修改Kylin的配置文件conf/kylin_job_conf_inmem.xml减小对内存的申请大小：将默认的参数（分配给map比较大的内存），如下：<property> <nam...
2019-05-30 17:22:53
498
原创 执行mr或hive聚集查询卡死
在CDH上安装了hive进行一般查询没有问题,聚合查询就卡死,如图查看日志没有报错.查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死查询得知是因为yarn的物理内存过少,建议配置为运行内存大小或二倍运行内存大小.yarn-site.xml<property> <name>yarn.nodemanager.res...
2019-05-30 17:17:18
1253
1
原创 spark报错: requirement failed: No output operations registered, so nothing to execute
requirement failed: No output operations registered, so nothing to execute：tranformation最后一步产生的那个RDD必须有相应Action操作，例如massages.print()等
2019-05-30 17:03:46
2652
1
原创 git配置(gitee)
这里仅提供简单的git使用,详细内容参考将本地工程同步保存在git上,这里采用gitee.github,gitlab同理.在Windows上安装Git在Windows上使用Git，可以从Git官网直接下载安装程序，（网速慢的同学请移步国内镜像），然后按默认选项安装即可。安装完成后，在开始菜单里找到“Git”->“Git Bash”，蹦出一个类似命令行窗口的东西，就说明Git安装成功！...
2019-05-30 15:40:35
12494
原创 决策树
熵了解决策树前一定要先了解熵，熵在信息论中表示随机变量不确定性的度量，用于描述随机变量的混乱度，熵的值越大表示该随机变量很混乱，熵值低表示该随机变量不混乱，可以很清晰的对其进行区分。所以我们在划分决策树的时候，就是尽力去找到能使得熵值很低的特征来对数据进行划分，以此作为决策树的划分准则。到底什么是熵？假设现在有32只队伍进入世界杯，但是你错过了直播，你去问其他人，那只队伍是冠军？但是他不要让...
2019-05-30 13:39:13
109
原创 梯度下降的原理与实践
梯度下降是首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就...
2019-05-29 20:36:06
190
知识图谱_项目实战_（附源码）_000.课程代码.rar
2020-09-17
elasticsearch-head-compile-after.tar.gz
2019-11-30
Advanced-REST-client_v3.1.9.带definitions.json文件
2019-11-30
mapreduce模板.txt
2018-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人