https://blog.csdn.net/etna_hh/article/details/83476807
3 订单系统
3.1 功能分析
1、在购物车页面点击“去结算”按钮跳转到订单确认页面。
a) 展示商品列表
b) 配送地址列表
c) 选择支付方式
2、展示订单确认页面之前,应该确认用户身份。
a) 使用拦截器实现。
b) Cookie中取token
c) 取不到token跳转到登录页面
d) 取到token,根据token查询用户信息。
e) 如果没有用户信息,登录过期跳转到登录页面
f) 取到用户信息,放行。
3、提交订单
a) 生成订单
b) 展示订单提交成功页面。
订单系统系统:订单确认页面、订单提交成功页面。
订单服务系统
3.2 工程搭建
创建一个订单服务系统:
e3-order(可以参考e3-manager整合。)
|--e3-order-interface
|--e3-order-Service
表现层工程:
e3-order-web打包方式war。
复制依赖到e3-order工程:
<dependencies> <dependency> <groupId>cn.e3mall</groupId> <artifactId>e3-common</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> </dependencies> <!-- 配置tomcat插件 --> <build> <plugins> <plugin> <groupId>org.apache.tomcat.maven</groupId> <artifactId>tomcat7-maven-plugin</artifactId> <configuration> <path>/</path> <port>8091</port> </configuration> </plugin> </plugins> </build>
复制依赖到e3-order-interface工程:
<dependencies> <dependency> <groupId>cn.e3mall</groupId> <artifactId>e3-manager-pojo</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> </dependencies>
复制依赖到e3-order-service工程:
<dependencies> <dependency> <groupId>cn.e3mall</groupId> <artifactId>e3-manager-dao</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> <dependency> <groupId>cn.e3mall</groupId> <artifactId>e3-order-interface</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> <!-- spring的依赖 --> <!-- Spring --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-beans</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-aspects</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jms</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> </dependency> <!-- dubbo相关 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <exclusions> <!-- 排除dubbo自带的spring 防止冲突 --> <exclusion> <groupId>org.springframework</groupId> <artifactId>spring</artifactId> </exclusion> <!-- 排除dubbo自带的netty 防止冲突 --> <exclusion> <groupId>org.jboss.netty</groupId> <artifactId>netty</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> </dependency> <dependency> <groupId>com.github.sgroschupf</groupId> <artifactId>zkclient</artifactId> </dependency> </dependencies>
1.复制所有配置文件到e3-order-service工程
2.清空resource.properties配置文件
3.订单系统用不上redis,删除redis配置文件
4.修改applicationContext-service.xml配置文件:
5.创建包:
6.修改applicationContext-trans.xml配置文件:
7.复制web.xml修改:
复制依赖到e3-order-web工程:
<dependencies> <dependency> <groupId>cn.e3mall</groupId> <artifactId>e3-order-interface</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> <!-- JSP相关 --> <dependency> <groupId>jstl</groupId> <artifactId>jstl</artifactId> </dependency> <dependency> <groupId>javax.servlet</groupId> <artifactId>servlet-api</artifactId> <scope>provided</scope> </dependency> <dependency> <groupId>javax.servlet</groupId> <artifactId>jsp-api</artifactId> <scope>provided</scope> </dependency> <!-- spring的依赖 --> <!-- Spring --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-beans</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-aspects</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jms</artifactId> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> </dependency> <!-- dubbo相关 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <exclusions> <exclusion> <groupId>org.springframework</groupId> <artifactId>spring</artifactId> </exclusion> <exclusion> <groupId>org.jboss.netty</groupId> <artifactId>netty</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> </dependency> <dependency> <groupId>com.github.sgroschupf</groupId> <artifactId>zkclient</artifactId> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> </dependency> </dependencies> <build> <plugins> <!-- 配置Tomcat插件 --> <plugin> <groupId>org.apache.tomcat.maven</groupId> <artifactId>tomcat7-maven-plugin</artifactId> <configuration> <path>/</path> <port>8092</port> </configuration> </plugin> </plugins> </build>
1.复制所有配置文件:
2.清空resource.properties配置文件内容
3.修改springmvc.xml配置文件:
4.创建包:
5.复制web.xml,将工程名全部改为e3-order-web
6.复制订单静态资源
3.3 展示订单确认页面
3.3.1 功能分析
e3-order-web工程加入依赖(需要调购物车的接口):
e3-order-web工程引用服务:
1. 在e3-cart-web工程购物车页面点击“去结算”按钮跳转到订单确认页面。
2. 请求的url:
/order/order-cart
3. 参数:没有参数。
4. 购物车商品数据从cookie中取出来的。可以在订单系统中取到cookie中的购物车数据。
5. 配送地址列表,需要用户登录。需要根据用户id查询收货地址列表。静态数据。
6. 支付方式。静态数据。
7. 返回值:逻辑视图 String,展示订单确认页面。
3.3.2 Dao层、Service层(没有)
需要根据用户id查询收货地址列表。没有此功能。
3.3.3 表现层
请求的url:/order/order-cart
参数:无
业务逻辑:
从cookie中取商品列表展示到页面。
返回值:逻辑视图。
在展示订单确认页面之前,需要对用户身份进行认证,要求用户必须登录。
3.4 用户身份认证
3.4.1 功能分析
1. 使用springmvc的拦截器实现。需要实现一个接口HandlerInterceptor接口。
2. 业务逻辑
a) 从cookie中取token。
b) 没有token,需要跳转到登录页面。
c) 有token。调用sso系统的服务,根据token查询用户信息。
d) 如果查不到用户信息。用户登录已经过期。需要跳转到登录页面。
e) 查询到用户信息。放行。
3. 在springmvc.xml中配置拦截器。
3.4.2 拦截器实现
e3-order-web工程pom添加依赖:
e3-order-web引用sso工程服务:
3.4.3 配置拦截器
中springmvc.xml中配置拦截器。
3.4.4 实现sso系统的回调
通过登录方法传递给页面,如果有值登录完成时回到订单页面
1.课程计划
订单提交功能完成 使用mycat实现数据分片 使用mycat实现数据库读写分离
2.提交订单
2.1 功能分析
在订单确认页面点击“提交订单”按钮生成订单。 请求的url:/order/create 参数:提交的是表单的数据。保存的数据:订单、订单明细、配送地址。
a ) 向tb_order中插入记录。
i. 订单号需要手动生成。
要求订单号不能重复。
订单号可读性号。
可以使用redis的incr命令生成订单号。订单号需要一个初始值。
ii. Payment:表单数据
iii. payment_type:表单数据
iv. user_id:用户信息
v. buyer_nick:用户名
vi. 其他字段null
b ) 向tb_order_item订单明细表插入数据。
i. Id:使用incr生成
ii. order_id:生成的订单号
iii. 其他的都是表单中的数据。
c ) tb_order_shipping,订单配送信息
i. order_id:生成的订单号
ii. 其他字段都是表单中的数据。
d ) 使用pojo接收表单的数据。
可以扩展TbOrder,在子类中添加两个属性一个是商品明细列表,一个是配送信息。
把pojo放到e3-order-interface工程中。
加入reids配置文件直接使用:
public class OrderInfo extends TbOrder implements Serializable{
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> List<TbOrderItem> </span><span style="color:#0000c0;">orderItems</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> TbOrderShipping </span><span style="color:#0000c0;">orderShipping</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">public</span></strong><span style="color:#000000;"> List<TbOrderItem> getOrderItems() {</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">return</span></strong> <span style="color:#0000c0;">orderItems</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">public</span></strong> <strong><span style="color:#7f0055;">void</span></strong><span style="color:#000000;"> setOrderItems(List<TbOrderItem> </span><span style="color:#6a3e3e;">orderItems</span><span style="color:#000000;">) {</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">this</span></strong><span style="color:#000000;">.</span><span style="color:#0000c0;">orderItems</span><span style="color:#000000;"> = </span><span style="color:#6a3e3e;">orderItems</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">public</span></strong><span style="color:#000000;"> TbOrderShipping getOrderShipping() {</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">return</span></strong> <span style="color:#0000c0;">orderShipping</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">public</span></strong> <strong><span style="color:#7f0055;">void</span></strong><span style="color:#000000;"> setOrderShipping(TbOrderShipping </span><span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;">) {</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">this</span></strong><span style="color:#000000;">.</span><span style="color:#0000c0;">orderShipping</span><span style="color:#000000;"> = </span><span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"> </p>
<p style="margin-left:0cm;"><span style="color:#000000;">}</span></p>
</td>
</tr></tbody></table></div><p style="margin-left:0cm;">业务逻辑:</p>
接收表单的数据 生成订单id 向订单表插入数据。 向订单明细表插入数据 向订单物流表插入数据。 返回e3Result。
返回值:e3Result
2.2 Dao层
可以使用逆向工程。
2.3 Service层
参数:OrderInfo
返回值:e3Result
ORDER_ID_GEN_KEY:redis自增订单id
ORDER_ID_START:redis订单起始id数
ORDER_DETAIL_ID_GEN_KEY:redis自增订单明细id
@Service
<p style="margin-left:0cm;"><strong><span style="color:#7f0055;">public</span></strong> <strong><span style="color:#7f0055;">class</span></strong><span style="color:#000000;"> OrderServiceImpl </span><strong><span style="color:#7f0055;">implements</span></strong><span style="color:#000000;"> OrderService {</span></p>
<p style="margin-left:0cm;"> </p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Autowired</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> TbOrderMapper </span><span style="color:#0000c0;">orderMapper</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Autowired</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> TbOrderItemMapper </span><span style="color:#0000c0;">orderItemMapper</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Autowired</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> TbOrderShippingMapper </span><span style="color:#0000c0;">orderShippingMapper</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Autowired</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> JedisClient </span><span style="color:#0000c0;">jedisClient</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> </p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Value</span><span style="color:#000000;">(</span><span style="color:#2a00ff;">"${ORDER_GEN_KEY}"</span><span style="color:#000000;">)</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> String </span><span style="color:#0000c0;">ORDER_GEN_KEY</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Value</span><span style="color:#000000;">(</span><span style="color:#2a00ff;">"${ORDER_ID_BEGIN}"</span><span style="color:#000000;">)</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> String </span><span style="color:#0000c0;">ORDER_ID_BEGIN</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Value</span><span style="color:#000000;">(</span><span style="color:#2a00ff;">"${ORDER_ITEM_ID_GEN_KEY}"</span><span style="color:#000000;">)</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">private</span></strong><span style="color:#000000;"> String </span><span style="color:#0000c0;">ORDER_ITEM_ID_GEN_KEY</span><span style="color:#000000;">;</span></p>
<p style="margin-left:0cm;"> </p>
<p style="margin-left:0cm;"> <span style="color:#646464;">@Override</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">public</span></strong> <span style="color:#000000;">e3</span><span style="color:#000000;">Result createOrder(OrderInfo </span><span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">) {</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">// 1</span><span style="color:#3f7f5f;">、接收表单的数据</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">// 2</span><span style="color:#3f7f5f;">、生成订单id</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">if</span></strong><span style="color:#000000;"> (!</span><span style="color:#0000c0;">jedisClient</span><span style="color:#000000;">.exists(</span><span style="color:#0000c0;">ORDER_GEN_KEY</span><span style="color:#000000;">)) {</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">//</span><span style="color:#3f7f5f;">设置初始值</span></p>
<p style="margin-left:0cm;"> <span style="color:#0000c0;">jedisClient</span><span style="color:#000000;">.set(</span><span style="color:#0000c0;">ORDER_GEN_KEY</span><span style="color:#000000;">, </span><span style="color:#0000c0;">ORDER_ID_BEGIN</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> String </span><span style="color:#6a3e3e;">orderId</span><span style="color:#000000;"> = </span><span style="color:#0000c0;">jedisClient</span><span style="color:#000000;">.incr(</span><span style="color:#0000c0;">ORDER_GEN_KEY</span><span style="color:#000000;">).toString();</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.setOrderId(</span><span style="color:#6a3e3e;">orderId</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.setPostFee(</span><span style="color:#2a00ff;">"0"</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">//1</span><span style="color:#3f7f5f;">、未付款,2、已付款,3、未发货,4、已发货,5、交易成功,6、交易关闭</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.setStatus(1);</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> Date </span><span style="color:#6a3e3e;">date</span><span style="color:#000000;"> = </span><strong><span style="color:#7f0055;">new</span></strong><span style="color:#000000;"> Date();</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.setCreateTime(</span><span style="color:#6a3e3e;">date</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.setUpdateTime(</span><span style="color:#6a3e3e;">date</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">// 3</span><span style="color:#3f7f5f;">、向订单表插入数据。</span></p>
<p style="margin-left:0cm;"> <span style="color:#0000c0;">orderMapper</span><span style="color:#000000;">.insert(</span><span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">// 4</span><span style="color:#3f7f5f;">、向订单明细表插入数据</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> List<TbOrderItem> </span><span style="color:#6a3e3e;">orderItems</span><span style="color:#000000;"> = </span><span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.getOrderItems();</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">for</span></strong><span style="color:#000000;"> (TbOrderItem </span><span style="color:#6a3e3e;">tbOrderItem</span><span style="color:#000000;"> : </span><span style="color:#6a3e3e;">orderItems</span><span style="color:#000000;">) {</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">//</span><span style="color:#3f7f5f;">生成明细id</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> Long </span><span style="color:#6a3e3e;">orderItemId</span><span style="color:#000000;"> = </span><span style="color:#0000c0;">jedisClient</span><span style="color:#000000;">.incr(</span><span style="color:#0000c0;">ORDER_ITEM_ID_GEN_KEY</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">tbOrderItem</span><span style="color:#000000;">.setId(</span><span style="color:#6a3e3e;">orderItemId</span><span style="color:#000000;">.toString());</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">tbOrderItem</span><span style="color:#000000;">.setOrderId(</span><span style="color:#6a3e3e;">orderId</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">//</span><span style="color:#3f7f5f;">插入数据</span></p>
<p style="margin-left:0cm;"> <span style="color:#0000c0;">orderItemMapper</span><span style="color:#000000;">.insert(</span><span style="color:#6a3e3e;">tbOrderItem</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">// 5</span><span style="color:#3f7f5f;">、向订单物流表插入数据。</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> TbOrderShipping </span><span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;"> = </span><span style="color:#6a3e3e;">orderInfo</span><span style="color:#000000;">.getOrderShipping();</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;">.setOrderId(</span><span style="color:#6a3e3e;">orderId</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;">.setCreated(</span><span style="color:#6a3e3e;">date</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;">.setUpdated(</span><span style="color:#6a3e3e;">date</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#0000c0;">orderShippingMapper</span><span style="color:#000000;">.insert(</span><span style="color:#6a3e3e;">orderShipping</span><span style="color:#000000;">);</span></p>
<p style="margin-left:0cm;"> <span style="color:#3f7f5f;">// 6</span><span style="color:#3f7f5f;">、返回</span><span style="color:#3f7f5f;">e3</span><span style="color:#3f7f5f;">Result</span><span style="color:#3f7f5f;">。</span></p>
<p style="margin-left:0cm;"> <strong><span style="color:#7f0055;">return</span></strong> <span style="color:#000000;">e3</span><span style="color:#000000;">Result.<em>ok</em>(orderId);</span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> }</span></p>
<p style="margin-left:0cm;"> </p>
<p style="margin-left:0cm;"><span style="color:#000000;">}</span></p>
</td>
</tr></tbody></table></div><h2><a name="t19"></a>2.4 Controller</h2>
请求的url:/order/create
参数:使用OrderInfo接收
返回值:逻辑视图。
业务逻辑:
接收表单提交的数据OrderInfo。 补全用户信息。 调用Service创建订单。 返回逻辑视图展示成功页面
a ) 需要Service返回订单号
b ) 当前日期加三天。
在拦截器中添加用户处理逻辑:
添加清空用户购物车方法:
安装e3-cart-interface工程
安装e3-order-interface工程
发布服务:
引用服务:
启动工程
3.1 什么是MyCAT?3. MyCAT介绍
简单的说,MyCAT就是:
一个彻底开源的,面向企业应用开发的“大数据库集群”
支持事务、ACID、可以替代Mysql的加强版数据库
一个可以视为“Mysql”集群的企业级数据库,用来替代昂贵的Oracle集群
一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品
MyCAT的目标是:低成本的将现有的单机数据库和应用平滑迁移到“云”端,解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。
3.2 MyCAT的关键特性
支持 SQL 92标准
支持Mysql集群,可以作为Proxy使用
支持JDBC连接ORACLE、DB2、SQL Server,将其模拟为MySQL Server使用
支持galera for mysql集群,percona-cluster或者mariadb cluster,提供高可用性数据分片集群
自动故障切换,高可用性
支持读写分离,支持Mysql双主多从,以及一主多从的模式
支持全局表,数据自动分片到多个节点,用于高效表关联查询
支持独有的基于E-R 关系的分片策略,实现了高效的表关联查询
多平台支持,部署和实施简单
3.3 MyCAT架构
如图所示:MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器 ,并建立了完整的Schema(数据库)、Table (数据表)、User(用户)的逻辑模型,并将这套逻辑模型映射到后端的存储节点DataNode(MySQL Instance)上的真实物理库中,这样一来,所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用,不必开发新的客户端协议。
4. Mycat解决的问题
性能问题 数据库连接过多 E-R分片难处理 可用性问题 成本和伸缩性问题
4.1 Mycat对多数据库的支持
5. 分片策略
MyCAT支持水平分片与垂直分片:
水平分片:一个表格的数据分割到多个节点上,按照行分隔。
垂直分片:一个数据库中多个表格A,B,C,A存储到节点1上,B存储到节点2上,C存储到节点3上。
MyCAT通过定义表的分片规则来实现分片,每个表格可以捆绑一个分片规则,每个分片规则指定一个分片字段并绑定一个函数,来实现动态分片算法。
Schema :逻辑库,与MySQL中的Database(数据库)对应,一个逻辑库中定义了所包括的Table。Table :表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。 DataNode :MyCAT的逻辑数据节点,是存放table的具体物理节点,也称之为分片节点,通过DataSource来关联到后端某个具体数据库上DataSource :定义某个物理库的访问地址,用于捆绑到Datanode上
6. Mycat的下载及安装
6.1 下载mycat
官方网站:
http://www.mycat.org.cn/
github地址
https://github.com/MyCATApache
6.2 Mycat安装
第一步:把MyCat的压缩包上传到linux服务器
第二步:解压缩,得到mycat目录
[root@huangh mycat]# tar zxf Mycat-server-1.4-release-20151019230038-linux.tar.gz
第三步:进入mycat/bin,启动MyCat
[root@huangh mycat]# cp -r mycat /usr/local/
[root@huangh mycat]# cd /usr/local/mycat/
[root@huangh mycat]# cd bin/
[root@huangh bin]# ./mycat console
启动命令:./mycat start
停止命令:./mycat stop
重启命令:./mycat restart
注意:可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066
7. Mycat分片
7.1 需求
把商品表分片存储到三个数据节点上。
7.2 安装环境
mysql节点1环境
操作系统版本 : centos6.4
数据库版本 : mysql-5.6
mycat版本 :1.4 release
数据库名 : db1、db3
ip:192.168.25.134
mysql节点2环境
操作系统版本 : centos6.4
数据库版本 : mysql-5.6
mycat版本 :1.4 release
数据库名 : db2
ip:192.168.25.166
MyCat安装到节点1上(需要安装jdk)
7.3 配置schema.xml(192.168.25.171)
7.3.1 Schema.xml介绍
Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置,是正确使用MyCat的前提。这里就一层层对该文件进行解析。
schema 标签用于定义MyCat实例中的逻辑库
Table 标签定义了MyCat中的逻辑表
dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。
dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句。
注意:若是LINUX版本的MYSQL,则需要设置为Mysql大小写不敏感,否则可能会发生表找不到的问题。
<p style="margin-left:0cm;">在MySQL的配置文件中my.ini [mysqld] 中增加一行</p>
<p style="margin-left:0cm;"> lower_case_table_names = 1</p>
</td>
</tr></tbody></table></div><p>[root@huangh bin]# vim /etc/my.cnf</p>
[root@huangh bin]# cd ..
[root@huangh mycat]# cd conf/
7.3.2 Schema.xml配置
[root@huangh conf]# vim schema.xml
1. <schema name="e3mall-32" checkSQLschema="false" sqlMaxLimit="100">
数据库名为e3mall-32
2.<table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
表名为TB_ITEM的表放到dn1,dn2,dn3的节点上,规则为系统分配的auto-sharding-long(根据id范围分配) 可以自定义
3.<dataNode name="dn1" dataHost="localhost1" database="db1" />
dn1节点 数据主机名为localhost1 数据库为db1
4.
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.25.134:3306" user="root"
password="root">
<!-- can have multi read hosts -->
</writeHost>
</dataHost>
配置数据主机名为localhost1的url数据库ip地址和端口号 user数据名账号 password数据库密码
通过select user()检测数据库心跳是否正常
7.4.1 Server.xml介绍7.4 配置server.xml
server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。
7.4.2 Server.xml配置
[root@huangh conf]# vim server.xml
7.5 配置rule.xml
rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法,或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule
和function。
此配置文件可以不用修改,使用默认即可。
7.6 测试分片
7.6.1 创建表
配置完毕后,重新启动mycat。使用mysql客户端连接mycat,创建表。
[root@huangh conf]# cd ..
[root@huangh mycat]# bin/mycat start
[root@huangh mycat]# bin/mycat status
复制下面sql到mycat服务器连接中执行 可以看到配置的节点服务器下的数据库都有表生成
-- ----------------------------
<p style="margin-left:0cm;">-- Table structure for tb_item</p>
<p style="margin-left:0cm;">-- ----------------------------</p>
<p style="margin-left:0cm;">DROP TABLE IF EXISTS `tb_item`;</p>
<p style="margin-left:0cm;">CREATE TABLE `tb_item` (</p>
<p style="margin-left:0cm;"> `id` bigint(20) NOT NULL COMMENT '商品id,同时也是商品编号',</p>
<p style="margin-left:0cm;"> `title` varchar(100) NOT NULL COMMENT '商品标题',</p>
<p style="margin-left:0cm;"> `sell_point` varchar(500) DEFAULT NULL COMMENT '商品卖点',</p>
<p style="margin-left:0cm;"> `price` bigint(20) NOT NULL COMMENT '商品价格,单位为:分',</p>
<p style="margin-left:0cm;"> `num` int(10) NOT NULL COMMENT '库存数量',</p>
<p style="margin-left:0cm;"> `barcode` varchar(30) DEFAULT NULL COMMENT '商品条形码',</p>
<p style="margin-left:0cm;"> `image` varchar(500) DEFAULT NULL COMMENT '商品图片',</p>
<p style="margin-left:0cm;"> `cid` bigint(10) NOT NULL COMMENT '所属类目,叶子类目',</p>
<p style="margin-left:0cm;"> `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品状态,1-正常,2-下架,3-删除',</p>
<p style="margin-left:0cm;"> `created` datetime NOT NULL COMMENT '创建时间',</p>
<p style="margin-left:0cm;"> `updated` datetime NOT NULL COMMENT '更新时间',</p>
<p style="margin-left:0cm;"> PRIMARY KEY (`id`),</p>
<p style="margin-left:0cm;"> KEY `cid` (`cid`),</p>
<p style="margin-left:0cm;"> KEY `status` (`status`),</p>
<p style="margin-left:0cm;"> KEY `updated` (`updated`)</p>
<p style="margin-left:0cm;">) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';</p>
<p style="margin-left:0cm;"> </p>
<p style="margin-left:0cm;">-- ----------------------------</p>
<p style="margin-left:0cm;">-- Table structure for tb_user</p>
<p style="margin-left:0cm;">-- ----------------------------</p>
<p style="margin-left:0cm;">DROP TABLE IF EXISTS `tb_user`;</p>
<p style="margin-left:0cm;">CREATE TABLE `tb_user` (</p>
<p style="margin-left:0cm;"> `id` bigint(20) NOT NULL AUTO_INCREMENT,</p>
<p style="margin-left:0cm;"> `username` varchar(50) NOT NULL COMMENT '用户名',</p>
<p style="margin-left:0cm;"> `password` varchar(32) NOT NULL COMMENT '密码,加密存储',</p>
<p style="margin-left:0cm;"> `phone` varchar(20) DEFAULT NULL COMMENT '注册手机号',</p>
<p style="margin-left:0cm;"> `email` varchar(50) DEFAULT NULL COMMENT '注册邮箱',</p>
<p style="margin-left:0cm;"> `created` datetime NOT NULL,</p>
<p style="margin-left:0cm;"> `updated` datetime NOT NULL,</p>
<p style="margin-left:0cm;"> PRIMARY KEY (`id`),</p>
<p style="margin-left:0cm;"> UNIQUE KEY `username` (`username`) USING BTREE,</p>
<p style="margin-left:0cm;"> UNIQUE KEY `phone` (`phone`) USING BTREE,</p>
<p style="margin-left:0cm;"> UNIQUE KEY `email` (`email`) USING BTREE</p>
<p style="margin-left:0cm;">) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用户表';</p>
</td>
</tr></tbody></table></div><p>重启生效配置bin/mycat restart</p>
7.6.2 插入数据
插入数据时必须带上所有列名 不能省略
复制sql到mycat服务器连接中执行
7.6.3 分片测试
由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。
每个datanode中保存一定数量的数据。根据id进行分片
经测试id范围为:
Datanode1:1~5000000条数据
Datanode2:5000000~10000000条数据
Datanode3:10000001~15000000条数据
当15000000以上的id插入时报错:
[Err] 1064 - can't find any valid datanode :TB_ITEM -> ID -> 15000001
此时需要添加节点了。
8. Mycat读写分离
数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置
Mycat读写分离和自动切换机制,需要mysql的主从复制机制配合。
8.1 Mysql的主从复制
主从配置需要注意的地方
1、主DB server和从DB server数据库的版本一致
2、主DB server和从DB server数据库数据一致[ 这里就会可以把主的备份在从上还原,也可以直接将主的数据目录拷贝到从的相应数据目录]
3、主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一
8.2 Mysql主服务器配置(192.168.25.171)
第一步:修改my.cnf文件:
[root@huangh ~]# vim /etc/my.cnf
在[mysqld]段下添加:
第二步:重启mysql服务
[root@huangh ~]# service mysqld restart
[root@huangh ~]# mysql -uroot -p123456
第三步:建立账户并授权slave
mysql>GRANT FILE ON *.* TO 'backup'@'%' IDENTIFIED BY '123456';
mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';
#一般不用root帐号,“%”表示所有客户端都可能连,只要帐号,密码正确,此处可用具体客户端IP代替,如192.168.145.226,加强安全。
刷新权限
mysql> FLUSH PRIVILEGES;
查看mysql现在有哪些用户
mysql>select user,host from mysql.user;
第四步:查询master的状态
mysql> show master status;
8.3 Mysql从服务器配置(192.168.25.172)
第一步:修改my.cnf文件
[mysqld]
server-id=172
第二步:配置从服务器
mysql> change master to master_host='192.168.25.171',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=55842;
报错:
mysql> use mysql
mysql> drop table slave_master_info; Query OK, 0 rows affected (0.01 sec)
mysql> drop table slave_relay_log_info; Query OK, 0 rows affected (0.02 sec)
mysql> drop table slave_worker_info; Query OK, 0 rows affected (0.00 sec)
mysql> drop table innodb_index_stats; Query OK, 0 rows affected (0.01 sec)
mysql> drop table innodb_table_stats; Query OK, 0 rows affected (0.01 sec)
重新建表,service mysqld restart重启
重新从主服务器查找master_log_pos,修改
mysql> change master to master_host='192.168.25.171',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=55842;
注意语句中间不要断开,master_port为mysql服务器端口号(无引号),master_user为执行同步操作的数据库账户,“120”无单引号(此处的120就是show master status 中看到的position的值,这里的mysql-bin.000001就是file对应的值)。
第二步:启动从服务器复制功能
Mysql>start slave;
第三步:检查从服务器复制功能状态:
mysql> show slave status
……………………(省略部分)
Slave_IO_Running: Yes //此状态必须YES
Slave_SQL_Running: Yes //此状态必须YES
……………………(省略部分)
注:Slave_IO及Slave_SQL进程必须正常运行,即YES状态,否则都是错误的状态(如:其中一个NO均属错误)。
错误处理:
<p style="margin-left:0cm;">如果出现此错误:</p>
<p style="margin-left:0cm;">Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.</p>
<p style="margin-left:0cm;">因为是mysql是克隆的系统所以mysql的uuid是一样的,所以需要修改。</p>
</td>
</tr><tr><td style="width:426.1pt;">
<p style="margin-left:0cm;">解决方法:</p>
<p style="margin-left:0cm;">删除/var/lib/mysql/auto.cnf文件,重新启动服务。</p>
</td>
</tr></tbody></table></div><p>[root@huanghh mycat]# service mysqld restart</p>
1.192.168.25.172从服务器开启 mysql> start slave;
2.向主服务器192.168.25.171插入数据
3.查看从服务器数据
以上操作过程,从服务器配置完成。
8.4 Mycat配置(192.168.25.171)
[root@huangh conf]# cd /usr/local/mycat/conf
Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下:
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<p style="margin-left:0cm;"><span style="color:#000000;"> <dataNode name=<em>"dn2"</em> dataHost=<em>"localhost2"</em> database=<em>"db2"</em> /></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> <dataNode name=<em>"dn3"</em> dataHost=<em>"localhost1"</em> database=<em>"db3"</em> /></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> <dataHost name=<em>"localhost1"</em> maxCon=<em>"1000"</em> minCon=<em>"10"</em> </span><strong><span style="color:#ff0000;">balance=<em>"1"</em></span></strong></p>
<p style="margin-left:0cm;"> <strong><span style="color:#ff0000;">writeType=<em>"0"</em> </span></strong><span style="color:#000000;">dbType=<em>"mysql"</em> dbDriver=<em>"native"</em> </span><strong><span style="color:#ff0000;">switchType=<em>"2"</em> slaveThreshold=<em>"100"</em></span></strong><span style="color:#000000;">></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> <heartbeat></span><strong><span style="color:#ff0000;">show slave status</span></strong><span style="color:#000000;"></heartbeat></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> <writeHost host=<em>"hostM"</em> url=<em>"192.168.25.171:3306"</em> user=<em>"root"</em></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> password=<em>"123456"</em>></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> <readHost host=<em>"hostS"</em> url=<em>"192.168.25.172:3306"</em> user=<em>"root"</em></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> password=<em>"123456"</em> /></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> </writeHost></span></p>
<p style="margin-left:0cm;"><span style="color:#000000;"> </dataHost></span></p>
<p style="margin-left:0cm;"> </p>
</td>
</tr></tbody></table></div><p><img alt="" class="has" height="466" src="https://img-blog.csdnimg.cn/2019021423405970.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V0bmFfaGg=,size_16,color_FFFFFF,t_70" width="746"></p>
(1) 设置 balance="1"与writeType="0"
Balance参数设置:
1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。
2. balance=“1”,所有读操作都随机的发送到readHost。
3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发
WriteType参数设置:
1. writeType=“0”, 所有写操作都发送到可用的writeHost上。
2. writeType=“1”,所有写操作都随机的发送到readHost。
3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。
“readHost是从属于writeHost的,即意味着它从那个writeHost获取同步数据,因此,当它所属的writeHost宕机了,则它也不会再参与到读写分离中来,即“不工作了”,这是因为此时,它的数据已经“不可靠”了。基于这个考虑,目前mycat 1.3和1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,则需要在Mycat里配置为两个writeHost并设置banlance=1。”
(2) 设置 switchType="2" 与slaveThreshold="100"
switchType 目前有三种选择:
-1:表示不自动切换
1 :默认值,自动切换
2 :基于MySQL主从同步的状态决定是否切换
“Mycat心跳检查语句配置为 show slave status ,dataHost 上定义两个新属性: switchType="2" 与slaveThreshold="100",此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。“
使用时启动mycat,直接连接mycat。mycat自动实现读写分离。