养猪少年日记的博客

原创 从零编写 vue 后台管理系统（02）

在src 下新建 views 文件一个完整的store结构每一个Vuex应用的核心就是store（仓库）。store 基本上就是一个容器，包含着应用中大部分的state（状态）。Vuex和单纯的全局对象有以下两点不同：Vuex 的状态存储是响应式的。当 Vue 组件从 store 中读取状态的时候，若 store 中的状态发生变化，那么相应的组件也会相应地得到高效更新。不能直接改变 store 中的状态。改变 store 中的状态的唯一途径就是显式地提交 mutation。这样使得我们可以方便地跟

原创 从零编写 vue 后台管理系统（01）

项目仿照 vue-admin-templatevue-admin-template 下的 permission-control 分支 进行的。主要使用的技术有 ： vue 。。。主要实现功能：登录初始化项目webpack这个项目是由 vue-cli 的 webpack-template 为基础模板构建的。请先安装node.js。以及vue-cli。具体安装比较简单，不再赘述。vue-cli是构建vue单页应用的脚手架，命令行输入vue init 从而自动生成的项目模板，比较常用的模板有we

原创 【每天一道算法题】割绳子

题目链接：https://www.nowcoder.com/practice/57d85990ba5b440ab888fc72b0751bf8?tpId=13&&tqId=33257&rp=1&ru=/ta/coding-interviews&qru=/ta/coding-interviews/question-ranking简单的描述的话，就是一个数分解为几个正整数之和,使之乘积最大 。简单的递归和 动态规划都都可以解决这个问题，题目上表示要用贪心解决。这需要

原创 Python MySQL

Python MySQL - mysql-connector 驱动MySQL 是最流行的关系型数据库管理系统，如果你不熟悉 MySQL，可以阅读我们的 MySQL 教程。本章节我们为大家介绍使用 mysql-connector 来连接使用 MySQL， mysql-connector 是 MySQL 官方提供的驱动器。我们可以使用 pip 命令来安装 mysql-connector：python -m pip install mysql-connector使用以下代码测试 mysql-conne

原创 Python字符串 /列表

Python字符串字符串或串(String)是由数字、字母、下划线组成的一串字符。从左到右索引默认0开始的，最大范围是字符串长度少1从右到左索引默认-1开始的，最大范围是字符串开头如果你要实现从字符串中获取一段子字符串的话，可以使用 [头下标:尾下标] 来截取相应的字符串，其中下标是从 0 开始算起，可以是正数或负数，下标可以为空表示取到头或尾。[头下标:尾下标] 获取的子字符串包含头下标的字符，但不包含尾下标的字符。>>> str ='RUNOOB'>>&gt

原创 Python3 OS 文件/目录方法

方法描述os.access(path, mode)检验权限模式os.chdir(path)改变当前工作目录os.chflags(path, flags)设置路径的标记为数字标记。os.chmod(path, mode)更改权限os.chown(path, uid, gid)更改文件所有者os.chroot(path)改变当前进程的根目录os.close(fd)关闭文件描述符 fdos.closerange(fd_low, fd_hi...

原创 python I/O

控制台I/Oinput函数 与print函数>>> str = input("请输入：")请输入： hello>>> print( "你输入的内容是: "+str)你输入的内容是: hello打开和关闭文件你必须先用Python内置的open()函数打开一个文件，创建一个file对象，相关的方法才可以调用它进行读写。语法：open(file, mode='r', buffering=-1, encoding=None, errors=None, ne

原创 Python 日期和时间

获取当前时间戳>>> import time>>> time.time()1594002800.2053256格式化日期time.localtime() 格式化时间戳为本地的时间。 如果sec参数未输入，则以当前时间为转换标准。>>> time.localtime(time.time())time.struct_time(tm_year=2020, tm_mon=7, tm_mday=6, tm_hour=10, tm_min=36, t

原创 sql深入了解

引用内容为个人认为需要重点掌握之内容use RUNOOB; 命令用于选择数据库。set names utf8; 命令用于设置使用的字符集。SELECT * FROM Websites; 读取数据表的信息。SQL 对大小写不敏感：SELECT 与 select 是相同的。SELECT - 从数据库中提取数据UPDATE - 更新数据库中的数据DELETE - 从数据库中删除数据INSERT INTO - 向数据库中插入新数据CREATE DATABASE - 创建新数据库ALTER .

原创 Python Scrapy爬虫教程-更新

在之前我简单的实现了 Scrapy的基本内容。存在两个问题需要解决。先爬取详情页面，在根据页面url获取图片太费事了，要进行简化，一个项目就实现图片爬取。增量爬虫，网站数据更新，获取更新内容。一般爬虫的逻辑是：给定起始页面，发起访问，分析页面包含的所有其他链接，然后将这些链接放入队列，再逐次访问这些队列，直至边界条件结束。为了针对列表页+详情页这种模式，需要对链接抽取（link extractor）的逻辑进行限定。我们先了解一下 crawlspider rules。crawlspider ru

原创 Hbase regionserver 报错 java.lang.NoClassDefFoundError: org/apache/jute/Record

Caused by: java.lang.NoClassDefFoundError: org/apache/jute/Record at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.checkZk(RecoverableZooKeeper.java:131) at org.apache.hadoop.hbase.zookeepe...

原创 Hive建表出现 LINES TERMINATED BY only supports newline '\n' right now.解决办法

Hive建表语句如下：CREATE EXTERNAL TABLE IF NOT EXISTS students ( id int, name string, gender string, birthday Date, clazz string, phone string, loc string) COMMENT 'student details' ROW FORMAT DELIMITED...

原创 ElasticSearch 入门教程 二（ES集群搭建与配套软件安装）

ES的集群部署第一步：创建普通用户（使用root用户）注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等创建一个es专门的用户（必须）在三台机器执行以下命令useradd es mkdir -p /export/servers/eschown -R es /export/servers/...

原创 ElasticSearch 入门教程 一（体系结构）

全文检索的介绍全文检索的需求介绍首先我们谈几个公司，如雷贯耳的：百度、谷歌、维基百科；这些公司都有一个相似性就是门户网站，可以提供我们通过关键字搜索，然后快速的检索出我们想要的信息；【网页百度展示】比如我们检索关键词，百度后台就会按照这个关键字进行查找（里面有搜索库，以及爬虫库），然后按照权重来进行从上到下的排序，给我们高亮的展示出现。【京东或者淘宝展示】随便搜索东西，就会高精度的展示...

原创 RESTful API讲解

RESTful风格REST是REpresentational State Transfer的缩写（一般中文翻译为表述性状态转移），REST 是一种体系结构，而 HTTP 是一种包含了 REST 架构属性的协议，为了便于理解，我们把它的首字母拆分成不同的几个部分：表述性（REpresentational）： REST 资源实际上可以用各种形式来进行表述，包括 XML、JSON 甚至 HTML—...

原创 tensorflow中的crf

为什么使用crf实体识别的应用领域，lstm＋crf是一种标配了，短期内我认为只要在attention方面没有很大的突破，这一框架都不会变化。为什么lstm后面要接crf层首先看BiLSTM的输出1.50.20.090.0030.120.90.40.020.0020.20.10.10.030.20.10.080.110.080.070.0650.050.050.10.051.5\beg...

原创 Neural Architectures for Named Entity Recognition（用于命名实体识别的神经结构）全文翻译

前言原文：https://arxiv.org/pdf/1603.01360.pdf主要使用翻译软件：http://fanyi.youdao.com/人工修改：https://blog.csdn.net/qq_41837900本文主要使用 有道翻译 ，由人工对细节修改，力求达到信达雅。正文：Neural Architectures for Named Entity Recognition...

原创 [大数据基础]Flume学习

Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume框架批处理下面我们来详细介绍一下Flume架构中的组件。AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。Agent主要有3个部分组成，Source、Channe...

原创 flume启动报错

01 八月 2019 16:05:28,201 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:443) - HDFS IO errorjava.io.IOException: Failed on local exception: co...

原创 flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace

我在启动Flume对hdfs写入时报如下错误:ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failedjava.lang.NoClassDefFoundError: org/htrace/Trace...

原创 [大数据基础]zookeeper学习

概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。安装下载地址:http://archive.apache.org/dist/zookeeper/单机模式解压到指定目录$ tar -zxvf zookeeper-3.4.10.tar.gz -C /o...

原创 pandas简单教程

import pandas as pdimport numpy as npimport matplotlib.pyplot as plt对象创建通过传入一些值的列表来创建一个Series， Pandas会自动创建一个默认的整数索引：s = pd.Series([1,3,5,np.nan,6,8])s0 1.01 3.02 5.03 NaN4 ...

原创 Python Scrapy爬虫简单教程

目标确定本人在做一个前端页面的项目,用到一些电影数据 , 就打算在网上爬取一些数据,之前使用自写的爬虫demo,但效果不太好,而且费时间.所以打算用框架解决.框架选择Scrapy.爬取网页:https://www.ygdy8.net/html/gndy/china/index.html页面分析打开页面,https://www.ygdy8.net/html/gndy/china/index...

原创 BP算法

Back propagation(反向传播)Backpropagation algorithms are a family of methods used to efficiently train artificial neural networks (ANNs) following a gradient descent approach that exploits the chain rul...

原创 Apache kylin 入门学习(4) kylin 查询api

之前我们成功创建了kylin的cube,并且可以使用web ui查询.但在真实的生产过程中,使用的是api调用,所以,我们将kylin api进行学习.官方api文档:这里本文代码:这里lylin有两种连接方法jdbc这种方法与mysql,hive相似,不重点讲.在这里插入代码片post通过post发送请求,返回json这种api调用比较新颖,较多大公司使用这种方法.在这里插...

原创 Apache kylin 入门学习(3) build cube

内容待补充

原创 Apache kylin 入门学习 (1)kylin简单认识

一kylin框架Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。以Hive或者Kafka作为数据源，里面保存着真实表，而Kylin做的就是将数据进行抽象，通过引擎实现Cube的构建。将Hbase作为数据的仓库，...

原创 HBase 基本操作与api

基本操作1．进入HBase客户端命令行[atguigu@cm1 hbase]$ bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list表的操作1．创建表hbase(main):002:0> create ‘student’,‘info’2．插入数据到...

原创 根据类名找jar包

ctrl+shift+t可以在eclipse中查找,但这仅限于本地jar包,对于未知jar包我们没有办法.这个网址可以根据类名查找jar包https://www.findjar.com/index.x但比较鸡肋,因为常用的在百度上也可以搜出来,百度没有这个也估计不行.但还是记录一下,以备不时之需....

原创 kylin build cube 报错:kylin : killed by admin

如题在 Sandbox VM 中，YARN 不能给 MR job 分配请求的内存资源，因为 “inmem” cubing 算法需要更多的内存。您可以通过请求更少的内存来绕过这一步: 编辑修改Kylin的配置文件conf/kylin_job_conf_inmem.xml减小对内存的申请大小：将默认的参数（分配给map比较大的内存），如下：<property> <nam...

原创 执行mr或hive聚集查询卡死

在CDH上安装了hive进行一般查询没有问题,聚合查询就卡死,如图查看日志没有报错.查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死查询得知是因为yarn的物理内存过少,建议配置为运行内存大小或二倍运行内存大小.yarn-site.xml<property> <name>yarn.nodemanager.res...

原创 spark报错: requirement failed: No output operations registered, so nothing to execute

requirement failed: No output operations registered, so nothing to execute：tranformation最后一步产生的那个RDD必须有相应Action操作，例如massages.print()等

原创 git配置(gitee)

这里仅提供简单的git使用,详细内容参考将本地工程同步保存在git上,这里采用gitee.github,gitlab同理.在Windows上安装Git在Windows上使用Git，可以从Git官网直接下载安装程序，（网速慢的同学请移步国内镜像），然后按默认选项安装即可。安装完成后，在开始菜单里找到“Git”->“Git Bash”，蹦出一个类似命令行窗口的东西，就说明Git安装成功！...

原创 决策树

熵了解决策树前一定要先了解熵，熵在信息论中表示随机变量不确定性的度量，用于描述随机变量的混乱度，熵的值越大表示该随机变量很混乱，熵值低表示该随机变量不混乱，可以很清晰的对其进行区分。所以我们在划分决策树的时候，就是尽力去找到能使得熵值很低的特征来对数据进行划分，以此作为决策树的划分准则。到底什么是熵？假设现在有32只队伍进入世界杯，但是你错过了直播，你去问其他人，那只队伍是冠军？但是他不要让...

原创 梯度下降的原理与实践

梯度下降是首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就...

原创 eclipse 编写 scala 报错

在eclipse中编写scala代码，在输入 . 或者alt+l是报如下错误An internal error occurred during: "Computing additional info"具体内容An internal error occurred during: “Computing additional info”.org.eclipse.jdt.internal.co...

原创 HIVE JDBC方法连接

输入hiveserver2打开hive server2在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Ja...

原创 hive的基本操作

hive的安装在之前已经写了 地址：一.语法创建数据库语法： CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name>如： create database if not exists zzti_hive; hive> create database if not exists zzti_h...

原创 一元线性回归，多元线性回归，逻辑回归

原创 【踩坑无数】本地CDH5.14安装指南

一环境：centos 7 64位二软件下载：JDK1.8： 下载地址 选择64位linuxCloudera Manager：下载地址这里我选择的是[cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz]