tang_xiaotang-CSDN博客

原创 scala语言http的post和get请求

引子最近公司需要请求数据接口去获取数据，用到了get请求和post请求，总结一下get请求：get请求参数是携带在url里面的，在？后面携带参数，每个参数之间用&隔开，举例：www.baidu?name=lisan&age=18如果参数里面有中文要把中文转成unicode编码，代码很简单：val client = new HttpClient//...

2018-07-09 11:33:48 20474 8

原创 AttributeError: module ‘pyparsing‘ has no attribute ‘downcaseTokens‘

AttributeError: module 'pyparsing' has no attribute 'downcaseTokens'

2022-06-10 14:36:03 829 1

Python面试题-mysqlmysql执行顺序from表on过滤添加外部表where过滤group byhaving 过滤select字段distinct子句order by 排序sql执行过程一：把sql交给数据库服务器二：服务器解析sql 1：检查是否有执行计划，有则调用执行计划 2：检查返回数据是否已经存在数据缓存储存区中，有则从缓存中取数据 3：进行语法校验 4：进行语义检验，例如表名是否存在 5：获得对象的解析锁，为了保证数据的一致性，在读

2021-03-29 10:30:08 172 1

原创 linux下python3创建虚拟环境venv

linux下python3创建虚拟环境venv用最简单的方式安装python3，并创建虚拟环境，创建虚拟环境的原因是防止不同版本冲突安装python3yum install python3-pip安装虚拟环境venv1.在要安装虚拟环境的地方创建文件夹，以/home为例mkdir /home/venv2.创建虚拟环境python3 -m venv .3.激活虚拟环境,进入/home/venv目录，注意：命令最前方有个 .. bin/activate...

2020-07-31 14:13:47 3473

原创 More than 4094 XFs (styles)

python报错：More than 4094 XFs (styles)1.在用python xlwt写入excel的时候的时候，遇到了这个错误。2.意思是xlwt最多只能有4094个样式，超出这个样式数量就报错了。解决方法：1.把样式放在for循坏之外。file_style = xlwt.XFStyle()for i in 10000： table.write(self.ta...

2019-11-28 18:43:10 1164

转载使用 Flask-Docs 自动生成 Api 文档转载

使用 Flask-Docs 自动生成 Api 文档记录一下flask-docs,转载自：添加链接描述

2019-10-31 18:37:05 1456

原创 scala程序打包放在服务器上，用java -cp命令运行

scala是用java封装得，所以可以打包放在服务器上用java命令运行。打包1.点击Maven Projects2.点击clean3.点击package这样就成功啦上传到服务器运行java -cp 包地址程序路径参数java -cp Mark-1.0-SNAPSHOT.jar pan.dataPlatform.Update 北京...

2019-07-01 16:09:47 1133

原创 spark读取、保存.csv文件

用spark实现读取csv文件val conf = new SparkConf() .setAppName("用户标签") .setMaster("local[*]") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) val arr = ArrayBuff...

2019-07-01 15:57:55 25405 1

原创 Scala 通过JDBC操作数据库，增删改查

1.改，update//连接信息 val onlineUrl = "jdbc:mysql://" val username = "root" val password = "1234" def getOnlineConnection(): sql.Connection = { DriverManager.getConnection(onlineUrl...

2019-07-01 15:47:11 1686

原创使用python flask实现写接口供别人调动，并把flask项目部署在Linux服务器上

需求：需要写接口查数据库数据，并返回给前端。思路：这个需求要求是用最快的方式出一个demo，所以选择用python flack编写，它比较轻量级。代码实现，用几个例子说明一下用法1.直接返回字符串，并用json返回#coding:utf-8from flask import Flask, requestimport pymysqlimport jsonapp = Flas...

2019-06-19 11:30:14 6637

原创 python使用OpenCV-Python结合百度图像识别api实现图片中的文字识别

上篇文章写了利用百度api实现图像识别提取图片上的文字，但是发现不是那么准确，所以现在结合OpenCV-Python找出图片上的文字，再把需要的文字切分出来，再调用接口识别，这样就会精确很多，附上参考的资料，多不多说，开干。1.读取文件，并专成灰度图imagePath = "20190610181452.png"img = cv2.imread(imagePath)gray = cv2.c...

2019-06-12 17:32:06 9401 3

原创 python调用百度api，图像识别（百度通用文字识别）

现在百度AI可以调用图像识别，有一些免费的可以玩一下。地址1.需要的库import base64import urllibfrom typing import BinaryIOfrom urllib.parse import urlencodefrom urllib import requestimport requestsfrom urllib.request import ur...

2019-06-12 14:11:58 10898

原创 flink简介

flink优点现在主流的实时处理引擎有storm，sparkstreaming，flink。storm实现了低延迟，但是没有实现高吞吐，也没有能够在出现故障是准确处理计算状态（将数据从一个事件保存到另一个事件）。spark streaming通过微批处理实现了高吞吐，高可用，但是不能做到低延迟，也不能使用窗口（把无限个stream拆分成有限个buckets，就可以在这些buckets上面做计...

2019-02-11 14:56:01 250

原创无法连接到WMI提供程序，您没有权限或者该服务器无法访问。

无法连接到WMI提供程序，您没有权限或者该服务器无法访问-解决问题描述准备给数据库配置自动备份的时候，安装sql server之后，打开sql server 2017 配置管理器的时候报错！解决历程打开sqlserver报错如下解决方法：1.找到sqlmgmproviderxpsp2up.mof这个文件所在的路径，一般会在“ C:\Program Files\Microso...

2019-01-17 11:54:42 6330 6

原创 mysql通过字符串计算hashcode更新到原表和多表关联优化

mysql通过字符串计算hashcode更新到原表和多表关联优化一. 需求描述现有表a，要求通过每条数据中的三个字段计算hashcode值更新到原表做为shopid.二. 第一种做法最好的方式是通过spark sql计算出来更新，但是spark sql不能update，要想update要设计到改源码。所以就退而求其次选择用JDBC更新，缺点是慢。把主要代码贴一下：result.for...

2018-12-04 16:57:42 5335

原创 mysql case when函数

需求现有美食的标签30个，要按照指定的规则重新打标签。举例如下汉堡薯条二级异国料理-西式快餐汉堡面包二级异国料理-西式快餐法意牛排二级异国料理-西式快餐炸鸡汉堡二级异国料理-西式快餐炸鸡炸串二级异国料理-西式快餐轻食西餐二级异国料理-西式快餐日料...

2018-09-03 10:57:37 713

原创把hbase表导出保存到linux服务器，进而保存到windows上

1.把表导出到hdfs上hbase org.apache.hadoop.hbase.mapreduce.Export 表名数据文件位置版本开始时间结束时间//eg:hbase org.apache.hadoop.hbase.mapreduce.Export test_table /opt/hbase-data-back/test_tabletest_table :表名 /op...

2018-08-22 11:33:38 533

原创 scala报 Exception in thread "main" java.sql.SQLException: No suitable driver

问题描述在程序中用到了从数据库中读数据，在本地测试的时候没有问题。但是提交到spark上运行就会报错： Exception in thread “main” java.sql.SQLException: No suitable driver 就是spark-submit找不到jdbc的驱动解决方法解决方法也很简单，那就是告诉它，让它找到就行了。在代码中，jdbc配置的地方加上下...

2018-08-03 14:30:41 5192 1

原创用scala语言，用HttpClient读取数据，存入阿里云服务器上的HBase中

废话少说，直接上代码。 val now: Date = new Date() val gt = now.getTime var time = gt + "" val client: HttpClient = new HttpClient val method: GetMethod = new GetMethod(url) client.exec...

2018-08-02 11:53:51 609

原创 entry.getValue报错：Error:(24, 29) value foreach is not a member of java.util.Set[String]

for (entry <- dataJson.entrySet) { val dataValue = entry.getValue.toString }在scala编程的时候，遍历entrySet报错。解决方法: 因为reducedList是java.util.HashMap, 没有foreach方法, 所以需要将其转换为Scala的集合类型, 因此需要...

2018-08-02 11:48:07 2147

原创用Scala api访问阿里云服务器hbase问题

api连接阿里云服务器的hbase报错： Exception in thread “main” org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /test at org.apache.zookeeper.KeeperException.creat...

2018-07-25 14:43:45 372 1

原创 mysql从一个表中查询插入另一个表，两个表关联再更新其中一个表

直接上代码mysql从一个表中查询插入另一个表INSERT INTO t_centre_copy ( doc_id, client_name, month_sale_num, address, area_id, call_center, centre_name, distance, cate_name) (...

2018-07-23 21:52:30 2785

原创 Windows用PuTTY远程登录E-MapReduce集群及PuTTY Key生成慢的问题

引子公司买的阿里云的EMR，使用了一个月一直是用它自带的页面运行程序。现在要用更复杂的服务，所以就满足不了需求了，所以现在用远程登录集群来操作。过程下载安装 PuTTY,Puttygen 打开puutygen, 点击generate 生成一个.ppk文件的秘钥文件，点击save private key保存打开putty，在session中输入你创建的集群的公网IP，注意...

2018-07-20 10:11:07 805 3

原创 mysql 删除表里重复的数据，只留下一条记录

解决思路1.首先判断哪些是重复记录。 2.拿出重复记录中的一条。 3.删除这条记录。思路实现过程及遇到问题1.首先判断哪些是重复记录。SELECT itemID，Id FROM people GROUP BY itemID HAVING ...

2018-07-19 11:18:58 1950

原创数据库死锁问题，Navicat修改表的时候，数据库中的一张表打不开也关不上

问题描述在修改一张数据库的表的时候，加了一个字段。然后鼠标指针就一直在转圈，Navicat就未响应。解决方法一般表打不开有三种原因：原因一: 表死锁，会出现这样的情况，锁不释放，无论多久都读取不了数据，一直加载中！原因二：表里面的数据量太大造成的。原因三: 网络慢，卡，数据不能传输下面介绍一下死锁：一、什么是死锁死锁是指两个或两个以上的进程在执行...

2018-07-16 18:31:11 8305 1

原创判断一个表的一列是否在另一张表的一列存在

引子现有个需求，查询出表A中的a列中的每一条数据是否在B表中的B列存在。解决方案select *from Awhere exists(select 1 from B where A.a = B.b)

2018-07-16 18:17:34 3066 1

原创 mysql 从一个表的一个字段求和，更新到另外一个表及字符串截取、去重、切分

引子现有一个需求：一个订单表，求这个订单表的订单数，然后根据id关联更新到另一个表中，下面说说的做法。解决方法首先查出都多少条订单，并去重一下 SELECT client_id, COUNT(1) as num FROM A GROUP BY ...

2018-07-16 18:13:20 4405

原创 scala语言实现各种加密算法

因子现在一些接口交互的时候回用到各种加密算法，现在总结一下我遇到的几个算法。1. MD5加密MD5消息摘要算法，属Hash算法一类。MD5算法对输入任意长度的消息进行运行，产生一个128位的消息摘要。以下所描述的消息长度、填充数据都以位(Bit)为单位，字节序为小端字节。算法原理1、数据填充对消息进行数据填充，使消息的长度对512取模得448，设消息长度为X，...

2018-07-09 12:02:51 5641

转载 GeoHash的运用

公司要求把地图表格化，把一个表格里面的每个店铺的销售量聚合在一起，我在网上搜集资料最后选择了运用GeoHash算法。原理附上大神的地址：http://www.cnblogs.com/LBSer/p/3310455.htmlval geoHash = filter.map(x => { val lat = x._1.toDouble val lon = x._2.toDouble...

2018-07-09 11:01:20 1826

原创普通数据写入mysql

val url = "jdbc:mysql://地址/库名?characterEncoding=utf8"val username = "user"val password = "password"classOf[com.mysql.jdbc.Driver]def getConnection(): sql.Connection = { DriverManager.getConne...

2018-07-09 10:56:53 319

原创 spark-RDD写入数据库

result.foreachPartition( it => { var url = "jdbc:mysql://地址/库名?characterEncoding=utf8" val conn = DriverManager.getConnection(url, "user", "password") val pstat = conn.prepareStateme...

2018-07-09 10:54:55 3286

原创 spark读取数据库数据

此代码是spark用于从mysql中读取数据val conf = new SparkConf() .setMaster("local[*]") .setAppName("用户标签")val sc = new SparkContext(conf)val sqlC = new SQLContext(sc)val url = "jdbc:mysql://地址/数据库名"v...

2018-07-09 10:53:28 2504

tang_xiaotang的博客